검색으로 돌아가기
기록
智能计算云平台的算力检查点增量分片渐进式调度方法及装置
발명알 수 없음
11청구항 · 5 독립항
§ Ⅰ
개요
IPC 분류
G06F 9/455 (2018.01)G06F 11/07 (2006.01)
本发明提供智能计算云平台的算力检查点增量分片渐进式调度方法及装置,涉及智能计算中心、智算中心、算力基础设施和智算云技术领域,包括:步骤S1、响应于算力运行任务的训练进程中触发检查点保存,获取检查点数据快照存至本地存储介质;步骤S2、对数据快照切分得到第一内容寻址分片集合并与上一版本比较,确定出增量内容寻址分片上传至内容寻址分片池;步骤S3、获取模型各层级在前向计算中被首次访问的顺序信息;步骤S4、在故障恢复时优先从内容寻址分片池中获取被访问的首个层级关联的内容寻址分片进行进程恢复,并在后台按照顺序信息异步获取剩余层级的内容寻址分片。本发明能解决检查点保存导致训练阻塞、故障恢复等待时间长的问题。