一种基于多模态融合的先天性疾病早期筛查方法和装置

本发明提供的基于多模态融合的先天性疾病早期筛查方法和装置，包括：采集目标病例超声影像与病例报告并建立提示词模板，引导大语言模型输出结构化文本；并基于Q‑former架构提取视觉语义描述，获取图像特征及增强文本特征并融合得到联合特征，输入至预训练的分类器得到疾病预测结果，并建立总损失函数优化分类器；对单病例多张超声影像，采用多数投票策略输出最终的疾病预测结果，实现先天性疾病早期筛查。本发明通过引入大语言模型的迁移知识和文本信息对影像特征进行语义补充，并构建图像模态与文本模态的深度交互机制，解决异源模态数据对齐难题，实现跨模态深层特征的有效融合，从而显著提升疾病筛查的准确性与可靠性。