一种应用于GPU集群的故障网卡隔离方法及装置、电子设备、存储介质和计算机程序产品

本公开涉及一种应用于GPU集群的故障网卡隔离方法及装置、电子设备、存储介质和计算机程序产品，所述方法包括：针对GPU集群中的任意一个GPU节点，根据该GPU节点中每个网卡的状态信息，确定该GPU节点上是否存在故障网卡；在确定该GPU节点上存在故障网卡，且故障网卡的数量小于等于预设阈值的情况下，更新该GPU节点的NCCL拓扑文件，其中，该GPU节点的NCCL拓扑文件用于指示该GPU节点中包括的可用GPU设备和可用网卡之间的拓扑关系；根据该GPU节点的NCCL拓扑文件，在对该GPU节点进行负载调度时隔离该GPU节点中的故障网卡。根据本公开实施例能够有效在GPU集群中实现故障隔离粒度细化到单张网卡。