模型微调方法、装置、电子设备及存储介质

本申请适用于模型微调技术领域，提供了模型微调方法、装置、电子设备及存储介质，包括：从待微调模型的梯侧网络中确定待调整网络层；根据所述待调整网络层的原始参数矩阵的秩确定所述待调整网络层对应的新的秩，得到目标秩，所述目标秩小于所述原始参数矩阵的秩；基于所述目标秩将所述待调整网络层的原始参数矩阵压缩为至少两个低秩参数矩阵，所述低秩参数矩阵的秩为所述目标秩；根据至少两个所述低秩参数矩阵确定调整后的所述梯侧网络；采用训练数据集对所述待微调模型进行训练，并根据训练结果更新调整后的所述梯侧网络中的至少两个所述低秩参数矩阵，得到微调后的所述待微调模型。本申请可以提高模型微调的训练效率。