基于多模态对比预训练的胸部病变辅助诊断方法及系统

本发明提供一种基于多模态对比预训练的胸部病变辅助诊断方法及系统，用于对患者胸部医学图像中的病变进行辅助识别和分类。该方法包括：获取胸部医学图像及其对应的医学报告文本，构建医学图像—报告文本数据对；分别通过图像编码器和文本编码器提取图像特征向量和文本特征向量，并映射至同一特征空间，得到图像嵌入向量和文本嵌入向量；以同一数据对中的图像嵌入向量和文本嵌入向量作为正样本对，以不同数据对中的嵌入向量作为负样本对，基于跨模态特征相似度计算跨模态对比学习损失；根据负样本与锚点样本之间的跨模态特征相似度筛选困难负样本，并计算困难负样本对比学习损失；基于上述损失对图像编码器和文本编码器进行多模态对比预训练，得到预训练完成的图像编码器；利用带有胸部病变分类标签的胸部医学图像训练分类器，并将待诊断胸部医学图像输入训练完成的图像编码器和分类器，输出胸部病变辅助诊断分类结果。该方法能够提高胸部医学图像视觉表征质量和病变分类能力。