模型训练方法、装置、电子设备以及存储介质

本公开提供了模型训练方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及大语言模型。该模型训练方法的具体实现方案为：通过对图形处理器在目标运行环境下运行待运行模型时的显存状态进行分析，从候选策略中确定目标策略；待运行模型是基于候选策略配置目标模型得到的；目标策略指示了目标模型中用于执行重计算的目标模型层与目标算子之间的关联关系；在前向传播阶段，根据目标策略控制图形处理器将与目标算子相关联的目标模型层的输入特征存储至显存；以及在反向传播阶段，控制图形处理器从显存中读取输入特征，并基于输入特征调用目标算子执行前向重计算得到目标梯度，以基于目标梯度更新目标模型层的参数，训练目标模型。