一种低资源场景的模型优化方法、装置、电子设备及介质

本发明涉及一种低资源场景的模型优化方法、装置、电子设备及介质，该方法包括：获取预训练模型，预训练模型为Transformer模型，对于Transformer模型中的任一个线性层，在线性层并接一对低秩矩阵，形成LoRA增量路径，预训练模型中的主干网络被冻结；对于Transformer模型中的任一个线性层，在LoRA增量路径上增加一个可学习的门，形成改进LoRA模块；获取并根据训练数据对预训练模型进行训练，得到目标模型，以根据目标模型对待处理文本进行语义分析。通过本发明的方法，通过结构创新与优化机制的协同设计，显著提升了参数高效微调方法在低资源场景下的性能与稳定性，具有良好的工业应用前景。