一种融合外部信息的唇语识别方法

本发明提供了一种融合外部信息的唇语识别模型构建方法，该方法包括：构建初始唇语识别模型，初始唇语识别模型包含视觉模态数据处理模块、预训练的视觉编码器、视觉投影器、文本嵌入模块与第一大语言模型；构建数据集，所述初始数据集以每个视觉序列图像及其对应的外部信息为样本，以真实说话文本与正确推理过程描述文本为标签；基于构建的训练集，以视觉序列图像及其对应的外部信息为输入，以预测说话文本与实际推理过程描述文本为输出对初始唇语识别模型进行迭代训练至收敛以得到最终的唇语识别模型，其中，训练过程中采用预设的交叉熵损失函数计算损失，并基于计算的损失更新第一大语言模型、视觉投影器与预训练的视觉编码器的参数。