一种基于块坐标下降法的低成本模型训练方法

本发明属于人工智能及机器学习技术领域，公开了一种基于块坐标下降法的低成本模型训练方法，具体技术方案为：将模型参数划分为多个子块，在每轮训练中仅激活一个子块参与前向传播、反向传播和参数更新，其余子块保持冻结状态，显著降低了显存占用和训练计算开销，冻结参数不参与梯度计算与状态存储，进一步提升了资源利用效率；本发明方法可在消费级GPU集群上完成大模型的有效预训练，在多个公开数据集和主流模型上验证了其精度保持能力与资源节约效果，具备良好的通用性和工程部署价值。