一种模型分布并行化训练流程自动优化方法、系统及装置

本发明涉及分布模型训练技术领域，提供一种模型分布并行化训练流程自动优化方法、系统及装置。包括以下步骤：根据神经网络模型的通信与算力定义任务平面，对任务平面进行划分，得到划分后的任务平面；根据划分后的任务平面构建训练耗时模型，得到总耗时；根据总耗时，使用锦标赛算法设计遗传算法求解训练耗时模型，得到训练优化结果；将训练优化结果嵌入至神经网络模型中优化更新。本发明通过使用网状流水线与异构网络与算力设备场景下的训练流程进行了详细的建模。根据建立的训练流程‑训练耗时模型，应用元启发式算法搜索得到较优解，以实现分布式并行化训练流程自动优化。