一种基于多模态大模型的零样本语义分割方法

本发明属于人工智能、计算机视觉及多模态大模型技术领域，尤其涉及一种基于多模态大模型的零样本语义分割方法。该方法首先构建涵盖传统分割、指代表达分割及全局密集描述的多任务指令跟随混合数据集；通过双路编码器分别提取图像与文本特征，结合交叉注意力与基于置信度动态门控的混合专家网络，实现跨模态特征自适应对齐；搭建以SAM与大语言模型为核心的双路解码器，并行输出像素级掩码与细粒度文本描述；采用分段式多任务联合训练与复合损失函数优化模型性能，并构建零样本自动化标注应用框架。本发明可实现未见类别的零样本泛化分割，支持复杂自然语言指代表达推理分割，兼具高分割精度与高效推理能力，可大幅降低像素级图像标注的人工成本。