基于文本模态引导与层级化微调的金属微观结构图像分割方法

本发明公开了一种基于文本模态引导与层级化微调的金属微观结构图像分割方法，包括：获取金属微观结构的扫描电子显微镜图像，标注目标材料结构，构建对应的文本描述，并进行预处理和图像增强；构建基于文本模态引导的金属微观结构分割模型；将金属微观结构分割模型在所构建的微观结构数据上，采用层级化微调策略，并设计多任务联合损失函数进行参数更新，得到训练优化后的金属微观结构分割模型；将金属微观结构图像和文本描述输入到优化后的金属微观结构分割模型，输出目标微观结构的分割掩码。本发明通过分区域的三种差异化学习率进行模型参数更新，在大幅降低计算开销和耗时，同时保留了预训练模型的基础泛化能力。