一种支持图文互查的多模态知识图谱构建方法及系统

本申请涉及知识工程技术领域，公开了一种支持图文互查的多模态知识图谱构建方法及系统，包括获取多模态数据源中的图像及关联文本；为图像创建图像节点，从关联文本中提取疾病、症状等文本实体；并采用呈现和属于双关系模型，在图像节点与文本实体间建立精确的语义关系；同时，对关联文本进行向量化，并将图结构、实体、关系及语义向量一体化存储于单一数据库实例中，保证了数据的原子性和一致性。本发明还提供一种混合检索方法，通过并行执行基于实体的图结构检索和基于查询向量的语义相似度检索，并对结果进行融合排序，通过结合知识图谱的结构化优势和向量检索的语义泛化能力，显著提升了图文混合检索的准确率和查全率。