北京奥星贝斯科技有限公司

本说明书提供一种模型推理服务的调度方法、多模型管理系统及存储介质。模型推理服务的调度方法，包括：响应于用户请求，服务路由层基于用户请求在预设的模型集群中确定目标模型，并获取目标模型的运行状态；当目标模型处于休眠状态时，服务路由层向推理框架层发送唤醒请求；推理框架层基于唤醒请求执行将目标模型的各网络层的权重数据从本地存储写入显存的操作，并在首个网络层的权重数据写入完成后，开始按照目标模型的各网络层从前到后的顺序逐网络层执行目标任务的推理计算操作。模型推理服务的调度方法能够在模型被部分加载至显存后即开始进行推理，有效缩短了TTFT，提供了一种反应更快、用户体验更好、运营成本更低的多模型管理系统。