大模型训练优化方法、装置、设备及存储介质

本申请提供了一种大模型训练优化方法、装置、设备及存储介质，该方法包括获取预训练大模型中目标全连接层的神经元参数，得到待优化参数集；根据所述待优化参数集计算神经元权重向量熵，并根据所述神经元权重向量熵构建总损失函数；基于所述总损失函数更新所述待优化参数集，得到更新后的预训练大模型；在所述更新后的预训练大模型满足预设训练终止条件时，生成目标大模型。通过本申请的实施，结合权重向量熵构建总损失函数，在权重向量熵的约束，可引导权重矩阵向一定规律的方向收敛，使梯度方向更集中，有利于减小无效计算，提高训练效率及减少训练成本。