一种可学习的基于检索增强的视觉文本对齐与融合的放射学报告生成方法

本发明公开了一种可学习的基于检索增强的视觉文本对齐与融合的放射学报告生成方法。方法包括采集并分别构建模型训练数据集和辅助数据集，然后构建基于检索增强的视觉文本对齐与融合模型，将模型训练数据集和辅助数据集一起输入到基于检索增强的视觉文本对齐与融合模型中进行训练，根据训练好的基于检索增强的视觉文本对齐与融合模型构建推理模型；将待测的医学影像和辅助数据集一起输入到推理模型中进行处理，得到待测的医学影像对应的放射学报告。本发明方法增强了检索相关性，同时采用一种细粒度的视觉‑文本对齐与融合方法来对齐和融合特征，解决了在医学报告生成过程中由图像报告级别的弱监督而造成的细粒度的区域‑句子对齐困难。