大模型推理请求处理方法、系统、装置、设备以及介质

本申请涉及一种大模型推理请求处理方法、系统、装置、设备以及介质,方法包括：接收任一预填充实例发送的预处理结果；预处理结果为任一预填充实例对接收到的推理请求进行预处理得到；根据至少一个解码实例的状态信息以及预设的负载均衡策略，从至少一个解码实例中确定目标解码实例；将预处理结果发送至目标解码实例；目标解码实例用于根据预处理结果，生成针对推理请求的推理结果。本申请通过代理实例，统一接收并转发预处理结果，降低了预填充实例与解码实例之间的关联性，提高了资源利用率，单一的解码实例故障也不影响整体工作，提升了灵活性、弹性扩缩能力和可靠性。