基于相关区域提取与动态图推理的多模态情感分析方法

本发明公开了一种基于相关区域提取与动态图推理的多模态情感分析方法，步骤包括：获取待分析的图像—文本对；利用开放词汇目标检测网络定位人物、面部表情及情感相关对象，并依据候选框生成剪裁区域；分别编码剪裁图像和文本，得到视觉特征与文本特征；通过交叉注意力以及带门控重加权的核化线性注意力进行跨模态融合；根据融合特征自适应构建k近邻图并实施动态图卷积推理；利用分类损失与监督式对比损失联合训练，输出情感类别。本发明减少无关背景对视觉表示的干扰，加强图文语义对齐，并使图连接关系随输入特征动态变化，从何提高复杂社交媒体场景下情感识别的准确性与鲁棒性。