一种面向数据并行训练的SLO感知吞吐量优化GPU调度方法和系统

本发明公开了一种面向数据并行训练的SLO感知吞吐量优化GPU调度方法和系统，包括获取待调度的任务集合及其超参数，并定义可调度GPU设备数；为每个任务构建吞吐量模型；计算每个任务满足其服务水平目标SLO约束所需的最少GPU数量；以最大化所有被调度任务的总吞吐量为目标，以集群GPU资源容量为约束，形式化SLO感知吞吐量优化问题；采用分组贪心与边际收益驱动相结合的方法，将优化问题转化为GPU分配策略的求解。本发明在满足各被调度任务SLO约束和集群GPU资源容量约束的条件下，实现了数据并行训练任务在GPU集群中的合理调度，提高了系统总吞吐量并保障了任务的服务质量。