基于强化学习的消化道病理诊断视觉语言大模型构建方法及其应用

本发明公开了一种基于强化学习的消化道病理诊断视觉语言大模型构建方法及其应用，属于医学图像处理技术领域。该方法首先通过版面分析与自适应阈值处理提取病理信息，重组为包含推理链条的结构化数据集；其次利用视觉编码器和多分支分类器提取特征及置信度，生成动态结构化提示词；最后将图像与提示词输入多模态大模型，进行监督微调热启动，并采用组相对策略优化算法配合包含格式、语义及诊断维度的复合奖励函数进行强化学习训练。本发明解决了通用模型在病理场景下易产生幻觉且缺乏推理逻辑的问题，显著提升了病理报告生成的准确性与逻辑性。