一种基于辅助语义感知与模态可信度融合的多模态情绪识别方法

本发明公开了一种基于辅助语义感知与模态可信度融合的多模态情绪识别方法，获取预处理后的文本、声学、视觉及辅助语义四模态特征；对四模态特征进行标准化与尺度对齐；利用门控网络为每句话语自适应计算各模态的可信度权重，加权融合得到多模态融合表征；通过门控残差机制将融合表征注入话语基础表征，以保持主干网络稳定性；基于说话人身份构建自我情绪延续轨与他人情绪传染轨的双轨掩码，利用图注意力网络实现情绪的解耦传播与建模；最后聚合情绪特征并输出分类结果。本发明能够动态评估模态可靠性、显式建模情绪惯性与传染效应，有效提升了多轮对话中细粒度情绪识别的准确性和鲁棒性。