一种面向多模态情感识别的冲突感知注意力重分配方法

本发明公开了一种面向多模态情感识别的冲突感知注意力重分配方法，包括：获取多模态情感样本，确定实际存在的文本模态、音频模态和视频模态作为可用模态，并编码得到对应的词元集合；在预训练多模态情感识别模型的预设层及注意力头中，计算头级模态注意力偏好和层级模态注意力偏好；构建在多个预设层之间共享参数的冲突感知门控模块，输出冲突概率和模态可信度分布；在推理阶段，根据冲突概率和分布差异选择待重分配层及冲突相关注意力头，计算模态间注意力偏置和视觉模态内注意力偏置，并叠加得到重分配后的注意力得分，以用于后续注意力计算和模型推理，完成多模态情感识别，提高情感识别结果的可靠性。