一种基于延迟预测的迭代级可抢占推理请求调度方法

本发明公开了一种基于延迟预测的迭代级可抢占推理请求调度方法，属于计算机技术领域。所述方法包括离线性能模型标定与在线推理请求调度两个阶段：离线阶段通过构造合成工作负载采集执行延迟数据，对前向推理延迟与键值缓存交换延迟进行参数拟合，得到已标定性能模型；在线阶段在每轮调度迭代中依据系统状态从候选调度策略集合中生成候选调度映射；利用已标定性能模型预测各候选调度映射的推理执行延迟，综合计算即时与等待延迟代价并加权，选择总代价最小的调度映射执行推理并更新系统状态。本发明通过可解析性能模型与固定候选策略集合实现线性复杂度的高频在线调度，适用于资源受限场景，并以联合优化系统响应性与生成过程平滑性为目标。