基于脑区学习引导的多空间多模态融合网络的医学图像分类方法

本发明提出了脑区学习引导的多空间多模态融合网络用于医学图像分类任务，属医学图像分类领域。本发明包括：获取未进行数据预处理的多模态医学图像；通过 3D ResNet 提取初始的局部深度特征；将局部深度特征送入深度空间学习模块，捕捉多模态数据的全局深度融合特征；将局部深度特征送入广度空间学习模块，捕捉多模态数据的全局广义融合特征；将局部深度特征送入本征空间学习模块，捕捉多模态数据之间的关键不变特征；拼接全局深度融合特征、全局广义融合特征和关键不变特征，得到多模态融合特征；将多模态融合特征送入脑区学习模块，将脑区结构的先验知识显式融入模型学习过程。本发明提高多模态医学图像分类精度和算法可解释性。