一种基于大模型知识增强的多模态实体链接方法

一种基于大模型知识增强的多模态实体链接方法，涉及人工智能与多模态知识图谱处理技术领域。为解决现有技术中模型在多模态实体链接任务中易受噪声干扰、区分度不足、难以实现高精度实体匹配的缺陷，本发明提供的技术方案为：采集并结构化建模多模态知识库中的实体数据与提及数据；得到高质量的提及增强描述与实体增强描述；利用预训练嵌入模型计算提及与实体的语义相似度并筛选候选实体集合；构建差异性对比提示模板输入多模态大语言模型，生成候选实体间的差异知识；将提及增强描述与差异性候选实体集合输入多模态大语言模型进行综合排序，输出最相关实体作为链接结果。适用于多模态知识图谱构建、智能问答及跨模态信息检索等工作中。