一种用于多模态情感分析的模态粒度协同对比学习方法

针对现有多模态情感分析方法未充分利用非文本模态的辅助信息且多聚焦于模态对齐或粒度融合的单一维度，本发明提出了一种用于多模态情感分析的模态粒度协同对比学习方法。步骤如下：首先提取文本、音频和视频模态的宏观与微观特征，通过跨粒度交互融合机制实现特征增强；构建以情感强度为导向的模态和粒度协同对比学习，通过同模态同粒度、跨模态同粒度和同模态跨粒度三种对比策略，引导模型学习跨模态、跨粒度的对齐关系；引入单模态预测任务，提升模型鲁棒性与泛化能力。本发明提出的方法能够有效建模模态和粒度深层次关系，提高情感建模能力，能较好的挖掘情感信息。