面向多Token预测场景的推理服务调度方法及装置

本发明公开了一种面向多Token预测场景的推理服务调度方法及装置，该方法包括：接收推理请求；获取推理请求对应的多Token预测参数和服务等级目标参数；多Token预测参数至少包括单次迭代目标Token数量；基于单次迭代目标Token数量和服务等级目标参数，计算等效调度延迟目标；根据等效调度延迟目标和当前系统负载状态，确定GPU计算资源在前缀计算阶段和解码阶段之间的分区比例；将前缀计算阶段中的推理请求切分为多个前缀计算块；在GPU计算资源的所述分区比例下，并发执行所述多个前缀计算块和解码批次。利用本发明方案，可以实现GPU计算资源分配的精确化，提高了GPU利用率。