觉道智创（武汉）科技有限公司

本发明公开一种多类型大模型Token的汇聚调度优选匹配方法。建立推理会话，读取Token序列、最大输出边界和缓存复用许可；依据Token序列与有效缓存块链，登记前缀缓存驻留Token、待预填充Token及预留连续解码Token；依据模型版本、缓存配置、租户隔离标记和实例状态筛选候选实例；在观察周期、预填充保持时段及解码预留时段内登记三类Token资源占用、资源安全余量、缓存驻留安全状态和批处理稳定状态；在预填充可承诺、解码可预留、缓存驻留安全和批处理稳定均通过时汇聚并下发请求；连续解码期间，依据新增解码Token、绑定缓存块占用和实例运行记录更新资源预留及实例接纳状态。