面向人机交互的多粒度多轮融合多模态多标签情感识别方法

本发明公开了一种面向人机交互的多粒度多轮融合多模态多标签情感识别方法，包括下述步骤：获取交互对象的多模态输入，构建多标签情感标注向量，多模态输入经映射及编码得到各模态的上下文表示，对上下文表示分别提取得到不同粒度时序情感线索，在每一时间步通过门控权重自适应融合得到模态表示，对每一模态的模态表示执行多轮模态通信，将每一模态表示分解为特异分量和共享分量，聚合其他模态的特异分量作为互补线索，通过门控残差更新得到修正后的模态表示，将更新后的模态特异分量与平均共享分量拼接，输入多标签分类器输出多个情感类别的识别概率，进而得到多标签情感识别结果。本发明能提高机器人情感理解的准确性、鲁棒性和人机交互自然度。