多场景任务的多模型推理方法、装置、设备及存储介质

本公开提供了一种多场景任务的多模型推理方法、装置、设备及存储介质，涉及计算机技术领域，尤其涉及人工智能机器人、边缘计算、GPU推理调度、云边协同技术领域。具体实现方案为：响应于获取到待处理任务的任务信息，基于所述任务信息确定所述待处理任务所属的目标场景；控制所述目标场景对应的目标模型进程处于运行状态，除所述目标模型进程以外的所述模型进程处于就绪状态，以通过所述目标模型进程运行所述目标场景对应的目标推理模型，进行对所述待处理任务的推理。这种方式可以降低目标设备的GPU中的常驻资源的消耗，提升了目标设备中GPU的资源利用率。