多厂商大模型统一调度管理方法、系统

本申请公开了一种多厂商大模型统一调度管理方法、系统，该方法包括，采集各厂商接口流式请求的首token响应延迟，并按时间顺序存入对应滑动窗口；基于滑动窗口内观测值计算窗口均值及由前后半段均值差确定的趋势增量；结合预先标定的基准首token响应延迟、窗口均值及经趋势放大的正向趋势增量，计算各厂商的实时服务能力评分；再根据实时服务能力评分与成本系数确定路由权重，并将路由权重归一化为分配概率，据此将业务请求分配至对应厂商接口。本发明能够依据厂商接口响应状态的变化动态调整请求分配，提高多厂商大模型服务的调度适应性。