一种面向思政大模型的反事实增强多模态问答方法及装置

本发明公开了一种面向思政大模型的反事实增强多模态问答方法及装置，该方法包括：接收思政多模态问答任务集，提取出一组与维度问题相关的视觉关系特征并基于该视觉关系特征确定出各个候选答案的置信度；生成候选答案的第一外部知识特征向量；基于该视觉锚点与正向知识向量构建的正样本对和该视觉锚点与反事实知识向量构建的负样本对思政大模型进行训练；利用门控向量对多模态融合特征、提纯后的外部知识特征向量进行组合，得到推理特征；计算每个答案对应的推理特征的选中概率，并将选中概率最高的推理特征作为思政大模型的输出；基于主任务判别损失函数和反事实对比损失函数构建的总损失函数实现思政大模型参数调整。其可提高推理的准确性。