基于自监督及多模态对比的情绪识别方法、设备及介质

本发明公开了一种基于自监督及多模态对比的情绪识别方法、设备及介质。方法包括以下步骤：获取多模态数据，对多模态数据进行预处理，得到特征矩阵；对特征矩阵进行自监督特征学习预训练，得到对比学习多模态编码器并通过对比学习多模态编码器输出各个模态的对齐特征；对对比学习多模态编码器输出的各个模态的对齐特征进行多模态特征融合，得到多模态特征向量；基于多模态特征向量进行情绪识别，得到情绪识别结果。本发明引入了自监督预训练，能有效提取更具代表性的多模态特征；同时将微表情、眼动和脑电三种模态进行特征融合；最后通过跨模态注意力与交互机制捕捉细微变化，使得本发明在多模态跨被试情绪识别任务上展现出更高的稳定性与先进性。