模型推理方法、装置、第一网关、存储介质和程序产品

本申请涉及一种模型推理方法、装置、第一网关、存储介质和程序产品。所述方法包括：接收第一推理管控端发送的当前预处理结果；其中，当前预处理结果是第一推理管控端在预填充阶段对接收到的当前推理请求进行预处理得到的；根据当前推理请求与前一推理请求的匹配情况，从至少一个第二网关中选择目标网关；向目标网关发送当前预处理结果；当前预处理结果用于供目标网关对应的第二推理管控端生成针对当前推理请求的推理结果。采用本方法能够实现第一推理管控端与第二推理管控端的灵活匹配，在一定程度上提高推理成功率。