视觉大模型的参数高效微调方法、系统及图像识别方法

本申请提供一种视觉大模型的参数高效微调方法和系统，方法包括：在预训练视觉大模型的每个多头注意力模块和前馈神经网络模块中，分别插入参数微调模块，所述参数微调模块一部分参数在预训练视觉大模型的多个模块间全局共享，另一部分通过局部特性独立调整以适配插入的对应模块的任务需求；将所述图像数据输入到插入所述参数微调模块的所述预训练视觉大模型中，生成特征图；基于特征图，冻结主干网络参数，训练参数微调模块的参数。本申请在保证预训练大模型能够保持较高的性能同时进一步大幅度减少模型所需的参数量，从而获得更加优秀的性能与存储的权衡，可用于预训练模型向下游任务如图像识别的迁移等领域。