基于大模型的请求处理方法、装置、电子设备及存储介质

本公开提供了一种基于大模型的请求处理方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体涉及深度学习、大模型等技术领域。方案为：响应于接收到大模型推理请求，根据大模型推理请求中的请求参数，确定大模型推理请求的目标服务等级要求；从与目标服务等级要求匹配的至少一个候选服务实例对中，确定目标服务实例对；其中，目标服务实例对包括基于预填充延迟确定的目标预填充服务实例和基于负载确定的目标解码服务实例；采用目标预填充服务实例和目标解码服务实例基于目标服务等级要求对大模型推理请求进行响应，以得到响应结果；向与大模型推理请求关联的客户端发送响应结果。