江苏电力信息技术有限公司

本发明公开了一种面向数据并行训练的SLO感知吞吐量优化GPU调度方法和系统，包括获取待调度的任务集合及其超参数，并定义可调度GPU设备数；为每个任务构建吞吐量模型；计算每个任务满足其服务水平目标SLO约束所需的最少GPU数量；以最大化所有被调度任务的总吞吐量为目标，以集群GPU资源容量为约束，形式化SLO感知吞吐量优化问题；采用分组贪心与边际收益驱动相结合的方法，将优化问题转化为GPU分配策略的求解。本发明在满足各被调度任务SLO约束和集群GPU资源容量约束的条件下，实现了数据并行训练任务在GPU集群中的合理调度，提高了系统总吞吐量并保障了任务的服务质量。

本发明公开了一种面向异构GPU资源池化的API沙盒三维门控方法和系统。以基准GPU为参照，对异构GPU的算力、显存和带宽进行归一化，并通过软件栈折算系数得到各工作节点的等效资源容量；在API层获取任务的算力、显存和带宽资源使用信息，分别通过显存配额门、带宽令牌桶和算力节流门确定放行结果，并将各任务的三维放行结果与工作节点等效资源容量进行校验，根据校验结果控制API调用。该方案实现异构GPU资源的统一度量、隔离控制与动态调节，提高资源利用率和运行稳定性。