一种多模态大模型安全保护方法、装置及设备

本申请提供一种多模态大模型安全保护方法、装置及设备，该方法包括：获取样本图像和样本文本，对样本图像和样本文本进行特征融合得到多模态特征；对多模态特征进行第一扰动操作得到第一扰动特征，将第一扰动特征输入给初始多模态大模型得到第一预测标签；基于第一预测标签确定第一损失值和第二损失值；基于第一损失值对初始多模态大模型进行调整得到中间多模态大模型；对多模态特征进行第二扰动操作得到第二扰动特征，将第二扰动特征输入给中间多模态大模型得到第二预测标签，基于第二预测标签确定第三损失值；基于第二损失值和第三损失值对初始多模态大模型进行调整得到目标多模态大模型。通过本申请方案，节省计算资源，减少训练时间。