一种模型训练方法及装置、电子设备、存储介质、计算机程序产品

本公开涉及一种模型训练方法及装置、电子设备、存储介质、计算机程序产品，所述方法用于训练待训练模型中的MOE层，MOE层包括多个专家网络，且多个专家网络部署在多个计算设备中，每个计算设备中均部署有目标token序列；所述方法包括：针对任意一个计算设备，确定目标token序列包括的每个token在该计算设备中对应的专家网络；基于ring通信方式，接收其它计算设备发送的专家网络；针对该计算设备中本地部署的或从其它计算设备接收的任意一个专家网络，利用该专家网络对该专家网络对应的token进行数据处理。本公开实施例能够有效实现单个计算设备内计算与通信的重叠，有效提高计算设备的资源利用率，提高训练效率。