一种基于多模态知识图谱的医疗指令数据生成与使用方法

本发明公开了一种基于多模态知识图谱的医疗指令数据生成与使用方法。首先，采集公开数据集中的医学图像和文本信息并从中筛选出高质量的图文对数据。其次，对医学文本进行实体识别并从多模态知识图谱中检索相关三元组知识，形成知识增强型医学图文数据。然后，邀请医学专家基于知识增强后的医学图文数据进行真实场景问答对的标注，并将其作为种子指令数据集来引导大规模视觉语言模型生成多样化指令问答数据。最后，使用有监督微调训练模型的医学图像理解与问答能力，通过知识图谱三元组路径监督的强化学习。本发明能够有效缓解医学指令数据稀缺的问题，从而使训练后的模型在医学问答任务中具备更高的准确性与可解释性。