车载场景中低帧率下多模态情感识别方法

本发明公开了车载场景中低帧率下多模态情感识别方法：S1.将一维音频信号进行预处理，得到每个音频对应的Mel语谱图，形成初始音频端数据集；S2.构建SE‑DN‑ResNet9网络，使用双重嵌套残差的结构；S3.将语谱图数据集放在SE‑DN‑ResNet9网络中进行训练，当Loss收敛时，获取音频端情感识别权重；S4.将视频文件进行预处理，使用基于局部二值模式直方图特征的抽帧算法，获取面部情感最活跃的帧图片，形成初始视频端数据集；S5.构建双向时序空洞因果卷积Bi‑TDCC网络，该网络融合Bi‑GRU和时序卷积网络TCN的结构；S6.将提取之后的视频数据集放在Bi‑TDCC网络中进行训练，当Loss收敛时，获取视频端情感识别权重；S7.对视频端和语音端提取的特征进行融合，生成混合情绪特征，后输出各类情感的预测概率并进行分类识别。