一种面向智慧座舱的语音识别增强与多模态交互方法

本发明涉及一种面向智慧座舱的语音识别增强与多模态交互方法，包括：获取驾驶员的多模态数据，对多模态数据进行多模态识别，获取多模态数据的语音识别文本和唇语识别文本；将语音识别文本和唇语识别文本对应的N‑best候选词列表中第一候选概率作为全局置信度，用于定义语音模态权重和唇语模态权重；利用语音模态权重和唇语模态权重进行基本概率分配与组合，获取最高融合信任度作为语音识别增强的结果；将语音识别增强的结果输入本地部署的人工智能大模型，生成相应的控制指令或自然语言回复。本发明解决了针对现行智慧座舱语音识别在嘈杂环境下可靠性不足，以及交互功能多样性不足的问题。