一种基于最短作业优先的大模型批次调度方法及系统

本发明公开了一种基于最短作业优先的大模型批次调度方法，包括：对模型处理任务请求进行关键信息获取及预处理；经过初步信息处理的任务储存至统一管理的待调度任务队列中，并基于最短作业优先的原则进行初步排序；引入长任务防饥饿机制，在特定条件下干预调度顺序，进行优先级动态调整；根据评估的可用资源和批次容量，开始从待调度任务队列中选择任务来组成一个或多个新的执行批次；调度器将构建完成的批次正式提交给大模型所在的后端计算引擎进行实际的模型处理；处理结果按照预定的方式返回给最初提交请求的用户或上游系统。还公开了一种基于最短作业优先的大模型批次调度系统。本发明提升了大模型服务系统的整体服务质量和用户满意度。