基于大模型和知识图谱的多模态图像情感识别方法

本发明公开了一种基于大模型和知识图谱的多模态图像情感识别方法，包括：S1将图片输入到视觉大模型中，要求大模型对图片内容进行分析，输出关于图片内容的文本描述；S2以文本描述作为头实体，关系为视觉要素类别，尾实体为视觉要素描述构成知识图谱三元组；S3构建多模态交互与知识传递模块，用于得到重建后的图像特征和文本特征；S4构建自适应渐进式融合模块，得到最终特征；S5将得到的最终特征进行池化降维，通过展平和全连接层后输出得到输入图片的情感类别。本发明有效缓解多模态图像情感识别中可能存在的数据缺乏问题、不同模态间差异大难对齐问题、获取的特征与情感存在情感语义上的差异问题，从而提高图像情感识别的准确率。