面向长上下文混合专家模型训练的内存安全弹性并行重配置方法及系统

本发明公开了一种面向长上下文混合专家模型训练的内存安全弹性并行重配置方法及系统。本发明首先接收训练作业描述信息与资源描述信息，查询对应执行原语缓存，缺失则执行轻量级代理画像；接着基于当前GPU预算生成候选混合并行配置集，预测峰值显存并剪枝掉超安全阈值的配置得到内存安全候选集合；最后基于执行原语缓存预测各配置迭代时间，选出目标并行配置，结合显存余量确定最终激活重计算等级后输出给运行时或调度器，以此输出重配置决策。本发明通过预剪枝高显存风险配置、复用画像缓存降低搜索成本，覆盖全并行维度适配复杂训练场景，优化配置提吞吐，为集群调度器提供参考，降低长上下文训练风险，提升了集群资源利用率。