一种语义一致性驱动的多模态抑郁检测系统及方法

本发明公开了一种语义一致性驱动的多模态抑郁检测系统及方法，涉及人工智能技术领域，包括单模态一致性增强单元和多模态一致性交互单元。单模态一致性增强单元通过动态归一化机制来增强模态内不同片段间的语义一致性，并利用对比学习提高模态内以及模态间的一致性。多模态一致性交互模块不仅利用跨注意力来动态交互单模态表征与融合表征的语义信息，使得融合表征能够学习到共有语义；同时，利用对比学习来约束融合表征与单模态表征之间的距离，从而保留每个模态内的抑郁信息，同时能够去除模态间冗余信息；该模块能够提升模型对抑郁潜在语义线索的捕捉能力，得到一个包含抑郁信息但冗余度低的交互后融合表征，从而提升抑郁检测的准确率。