一种基于图-注意力协作优化跨模态重组的多模态情感分析方法

本发明提出了一种基于图‑注意力协作优化跨模态重组的多模态情感分析方法，涉及多模态情感分析的技术领域。首先，设计模态自适应的多模态图构建模块，针对语言模态构建基于KNN‑RBF的局部稀疏图，针对音视频模态采用结合核范数正则化的低秩表示方法；其次，将处理后的模态特征传入图注意网络实现高阶特征聚合；然后构建语言引导的层次化跨模态交互机制，结合高级多模态特征容器模块积累多粒度语义；最后设计基于动态匹配的高级特征重组策略，以语言特征容器为锚点实现特征对齐。本发明通过图‑注意力协作优化的跨模态重组模型，将图学习与序列学习统一在协作框架中，能有效解决跨模态注意力噪声干扰与模态失衡，跨模态特征对齐效率不足等问题。