基于提示学习与注意力的内镜跨模态检索方法及系统

本发明公开了基于提示学习与注意力的内镜跨模态检索方法及系统，属于医学图像跨模态检索技术领域。该方法包括：获取胃肠内镜图像及对应的文本描述，将文本描述输入文本编码器，通过医学领域自适应提示学习模块进行领域语义引导，输出文本特征；医学领域自适应提示学习模块采用医学关键词初始化提示向量；将胃肠内镜图像输入图像编码器提取图像特征；将图像特征和文本特征输入类别感知注意力模块，通过类别门控与特征重标定增强细粒度类别特征；采用联合损失函数训练模型，该损失包括基础跨模态对比损失和稀缺类别监督对比损失；利用训练后的模型进行跨模态检索。本发明有效解决了领域语义偏移、细粒度区分不足和类别不均衡问题，提升了检索精度。