一种多模态对话情感识别方法与系统

本发明涉及一种多模态对话情感识别方法与系统，属于自然语言处理技术领域，包括：构建多模态对话情感识别网络；多模态对话情感识别网络包括多模态特征提取网络、语义引导的全局‑局部交互融合网络、三模态对比学习模块和模态动态平衡优化器；其中，所述语义引导的全局‑局部交互融合网络包括全局语义中枢构建模块和语义引导的局部交互模块；训练多模态对话情感识别网络；将待测对话数据输入到训练好的多模态对话情感识别网络中进行情感识别，得到情感识别结果。本发明将盲目的模态间交互转变为基于全局语义理解的有序信息传递，解决了传统方法因缺乏语义引导而导致的交互质量有限问题，提升了跨模态理解的深度和准确性。