分布式计算系统的数据处理方法、装置、芯片产品及设备

一种分布式计算系统的数据处理方法、装置、芯片产品及设备，涉及分布式训练技术领域。该分布式计算系统包括多个计算节点集群，多个计算节点集群分别用于处理相同的模型参数，每个计算节点集群包括多个计算节点组，获取第一跨集群通信组，第一跨集群通信组包括来自不同计算节点集群的计算节点组；根据第一跨集群通信组中计算节点组的数量，将第一跨集群通信组的训练状态数据划分成多个第一切片数据，第一跨集群通信组的训练状态数据包括在处理模型参数的过程中所使用和/或产生的数据；在第一跨集群通信组中的每个计算节点组中，存储多个第一切片数据中不同的第一切片数据。本申请实施例能够降低分布式计算系统中各个计算节点的存储压力。