湖北声通智能技术有限公司

本发明提供了一种基于多模态大模型的意图识别方法及装置，获取用户交互过程中产生的至少两种不同模态的原始数据；对各模态的原始数据进行预处理和质量评估，得到预处理后的数据和相应的质量得分；根据所述预处理后的数据利用多模态大模型分别提取各模态的高维语义特征，并采用交叉注意力机制和基于所述质量得分的门控加权机制进行多模态融合，得到融合后的联合语义；根据所述融合后的联合语义进行意图识别，输出结构化结果，若是可信度较低，触发回退机制，进行监督微调和强化学习。利用多模态大模型对显式意图与隐式意图进行联合建模，提升了跨模态语义交互能力，并在保证意图识别准确率的同时显著增强了系统的可解释性和工程实用性。