一种大语言模型驱动的多模态融合卵巢癌亚型分类系统

本发明公开了一种大语言模型驱动的多模态融合卵巢癌亚型分类系统，该系统基于多模态特征提取、跨模态注意力融合、融合特征投影嵌入与大语言模型引导推理按序协作完成肿瘤亚型的分类；其中跨模态注意力融合以多头注意力机制为基础架构，其中跨模态特征融合以密集残差网络为基础架构，通过使用具有层级特征重用机制的多层感知机组替代简单的特征拼接或加和操作进行多模态特征的深度融合，并使用因果推断模块对临床文本特征进行去偏倚处理，处理结果与图像特征进行联合训练，最终将生成的融合特征作为条件令牌嵌入大语言模型的输入序列，引导其进行可靠分类。