推理服务的负载均衡方法、装置、存储介质、设备及产品

本申请公开了一种推理服务的负载均衡方法、装置、存储介质、设备及产品，该方法包括通过代理层接收推理请求，并获取推理请求携带的目标模型标识；获取推理服务集群当前各个推理节点的节点信息，节点信息包括节点标识、状态信息、当前负载及已缓存的模型标识；基于目标模型标识和节点信息，按照预设的优先级策略从多个推理节点中选择目标推理节点，其中，优先级策略优先选择已缓存的模型标识与目标模型标识相同且负载满足第一条件的推理节点；将推理请求路由至目标推理节点，并更新目标推理节点的节点信息。本申请提供一种推理服务的负载均衡方法，通过将请求优先路由至已缓存所需模型的轻负载推理节点，有效提升了推理效率和响应速度。