一种基于情感细粒度增强和跨模态交互的抑郁症双模态识别方法

一种基于情感细粒度增强和跨模态交互的抑郁症双模态识别方法，包括：采集并预处理语音与文本数据，构建语音与文本的双模态样本数据集；搭建ME‑FusionNet网络，并将语音与文本特征输入至所述网络中进行特征提取与融合；设计并构建双通道残差融合模块，通过跨模态交叉注意力机制实现语音与文本之间的特征交互；将融合后的跨模态特征输入分类器，实现抑郁症的双模态识别；将训练集输入ME‑FusionNet网络进行训练，得到训练好的ME‑FusionNet网络；并利用验证集对训练好的ME‑FusionNet网络进行验证，得到最终的ME‑FusionNet网络；将测试集输入到最终的ME‑FusionNet网络，完成对测试集中抑郁症的诊断。本发明提出了一种新型的情感增强与跨模态交互架构，能够在保证训练稳定性和实时性的同时，更加准确地捕捉语音与文本中细微的情绪差异，有效提升了抑郁症识别的精度与鲁棒性。