一种数据处理方法及相关设备

本申请提供了一种数据处理方法，可以应用在部署有多头注意力网络的计算集群中，第一计算卡对第一数据进行allgather操作，得到第二数据，第一数据为多头注意力网络的输入数据的特征矩阵的子矩阵；第一计算卡对所述第二数据与第一子模型进行QKV计算，第一子模型为对多头注意力网络的权重矩阵进行行切和列切得到的子矩阵；第一计算卡对QKV计算的结果进行reducescatter操作，得到第三数据，第三数据用于获取所述第一数据的处理结果。本方案在模型并行方面，设置两个通信域，在两个维度对多头注意力网络的权重矩阵进行切分，每个训练节点只保存子矩阵，子矩阵的显存占用更小，可以大幅度降低通信量。