河南省轻大钧陶瓷产业技术研究院

本发明提出了一种基于跨样本图交互网络的多模态情感分析方法，分别提取训练集中视频数据的文本、视频和音频的特征，得到各个模态的语境级模态特征；根据语境级模态特征计算样本间的语义相似度，根据语义相似度和情感相似度确定相似样本，每个样本作为中心节点、相似样本作为边缘节点构造跨样本交互图，经过图卷积处理获得信息增强后的重构特征矩阵；根据各模态的重构特征矩阵计算单模态性能，根据单模态性能计算模态之间的优化差异，并利用优化差异更新模型参数；利用跨模态注意力机制处理重构特征矩阵，获得增强的视觉和声学模态特征，与文本模态的重构特征矩阵进行拼接得到融合特征矩阵；计算预测情感得分，确定情感预测结果。本发明在CMU‑MOSEI和CMU‑MOSI基准数据集上均表现出优越的性能，在CMU‑MOSEI数据集上达到了当前最先进的性能。