一种基于多模态知识图谱的信息检索方法及装置

本发明公开了一种基于多模态知识图谱的信息检索方法及装置，涉及信息检索技术领域，包括：获取多模态实体数据；对多模态实体数据进行特征提取，得到多模态特征向量；对多模态特征向量进行语义统一，得到语义统一的多模态向量；根据语义统一的多模态向量构建知识图谱三元组；根据知识图谱三元组和对应的模态来源信息构建多模态知识图谱；将用户的自然语言查询和多模态知识图谱输入预设的图谱增强生成式检索大模型，在多模态知识图谱中查找与自然语言查询相关的多模态实体及其关系链，提取多模态实体和关系链所关联的多模态内容通过各自编码器处理后被注入解码器的注意力层，输出答案。本发明能够实现面向复杂任务的高精度、高一致性智能问答能力。