不确定性感知的多模态大语言模型眼科可信问诊方法及系统

不确定性感知的多模态大语言模型眼科可信问诊方法及系统，首先，构建不确定性感知的视觉编码器，利用平衡证据深度学习与基于原型的对比学习方法实现置信度的校准估计并增强对少数类的鲁棒表征；然后，模型量化得到的不确定性被离散化后注入到系统提示词中，用于引导模型进行更加保守的响应生成；通过将大语言模型与领域眼科知识库相结合，构建了检索增强的多轮对话语料库，以权威医学证据对生成内容提供支撑，从而降低事实性幻觉；最后，对视觉特征与语言域进行对齐，并对主干网络进行参数高效微调；本发明能够使得模型生成具备不确定性感知和安全导向的眼科临床问诊回复，在实际眼科应用中作为可信诊断助手的巨大潜力。