浙江中控数智科技有限公司

本发明提供了一种大模型训推混合调度方法、装置、设备及介质，涉及云计算技术领域，该方法包括响应于夜间切换开启信号，从主推理集群中选取候选阶段节点，停止候选阶段节点接收新增请求并进行局部排空；启动保底推理服务；响应于保底推理服务通过就绪探测，将新增请求切换至保底推理服务并进行全局排空；将候选阶段节点作为训练节点释放至训练资源池执行训练任务；在训练节点训练到达安全停训时间时触发检查点屏障，输出并校验训练断点；响应于校验通过，释放训练节点恢复主推理集群，并在主推理集群通过健康检查后，将新增请求回切至主推理集群，且将保底推理服务排空后并入主推理集群。本发明算力高效复用，实现推理训练双保障。