模型训练方法、模型训练装置、电子设备及介质

本申请涉及模型训练技术领域，公开了一种模型训练方法、模型训练装置、电子设备及介质。模型训练方法包括：将待训练模型沿网络深度方向分为多个计算阶段，并将多个计算阶段分配至分布式计算集群的多个计算单元；将训练数据的每个迷你批次分为多个微批次；以及基于多个计算阶段及微批次，对微批次依序执行前向传播计算和反向传播计算；反向传播计算的步骤，包括激活值梯度计算和权重梯度计算；其中，权重梯度计算在不等待全部激活值梯度计算完成的情况下，在已获得各自对应的激活值梯度结果的基础上启动。根据该模型训练方法，能够提高分布式计算资源的利用率。