검색으로 돌아가기
기록
面向大模型分布式训练的关键通信路径带宽分配方法及系统
발명알 수 없음
52조회수
10청구항 · 2 독립항
§ Ⅰ
개요
IPC 분류
H04L 47/76 (2022.01)H04L 47/80 (2022.01)H04L 47/12 (2022.01)H04L 41/0896 (2022.01)
本发明提供了一种面向大模型分布式训练的关键通信路径带宽分配方法及系统,属于大模型分布式训练及数据中心网络通信优化技术领域。本方法包括:获取计算操作与通信操作的依赖关系,构建训练执行有向无环图,并根据实测流完成时间在线更新边权重;基于更新后的有向无环图识别关键路径通信流并计算时间松弛量;以最小化活跃通信流的最大关键流延迟增加时间为目标,通过二分搜索和桶式工作保持算法确定目标带宽;通过RoCEv2控制信号下发带宽分配结果,并在队列对级别执行速率限制,从而降低训练迭代时间,提高集群训练效率。
§ Ⅵ
특허 도면
이미지 불러오는 중…