一种基于频域情感提示与说话人感知多关系图推理的多模态对话情感识别方法

本发明提出了一种基于频域情感提示与说话人感知多关系图推理的多模态对话情感识别方法，属于情感计算与多模态信息融合技术领域。该方法获取对话中的文本、音频、视频及说话人信息，通过预训练编码器提取文本嵌入、音频时序特征和视觉时序特征；采用离散小波变换对音频和视觉特征进行低频稳定分量与高频细节分量分解，并利用文本语义引导的频域门控机制筛选情绪相关动态线索；随后将增强后的音视频频域特征映射为大语言模型嵌入空间中的连续软提示向量，与文本嵌入表示共同输入冻结或低秩微调的大语言模型，获得话语级多模态融合语义向量。