上海孛樊信息科技有限公司

本发明公开了一种公有云多租户AI推理任务动态调度方法，涉及计算机资源调度及云计算资源管理技术领域。读取GPU节点显存状态、模型服务实例运行状态、推理任务运行阶段、KV缓存状态及节点间数据传输状态；在预填充任务进入下一次调度可完成输入处理时，保留其解码阶段使用的显存和KV缓存资源，并据此确定新任务接入节点；任务进入解码阶段前重新核对节点资源，可分配显存不足以满足首次解码运行空间时确定目标节点；将已形成及当前运行片段新增的KV缓存和当前输出位置传送至目标模型服务实例，接收核对后切换运行位置，待目标节点状态和模型服务运行状态更新，且任务、KV缓存归属及运行位置一致后释放源节点对应资源。