基于影像-基因可解释性深度学习对乳腺癌患者pCR的预测分类方法

本发明提供一种基于影像‑基因可解释性深度学习对乳腺癌患者pCR的预测分类方法。该方法包括：将获取到的数据集划分为训练集和测试集；将所有三维MRI图像拆分成二维切片图像；每个乳腺癌患者的基因文本特征被分类为N个不同集合；将训练集对应的二维切片图像切分成若干个patch；将每个patch及每个patch对应的基因文本特征转换为对应的高维Embedding；将H分别与W和W相乘得到K和V；将G与W相乘得到Q；获取基因指导影像特征CoAttn；将CoAttn与Q进行融合得到特征集F；将F输入到网络模型，并基于损失函数训练网络模型；将测试集对应的二维切片图像输入至训练好的网络模型，输出多个分类结果；采用最大投票策略对上述多个分类结果进行决策。本发明基于基因文本特征与MRI影像的共注意力机制对患者进行pCR和npCR分类，增强了模型决策的可解释性，为临床医生提供了更为直观和可靠的辅助诊断工具。