一种基于书生大模型的复杂缺陷语义分割方法和系统

本发明公开了一种基于书生大模型的复杂缺陷语义分割方法和系统，属于真实场景缺陷分割领域。首先获取多场景工业异常检测图像数据和对应的真实缺陷分割掩码，根据图像标签得到对应的文本分割指令和真实文本回答；书生多模态大语言模型基于图像和文本分割指令得到包含特殊分割token的语义表示token序列；将特殊分割token转换为提示嵌入后，与分割模型编码器根据图像生成的视觉特征图输入分割模型解码器中，生成缺陷掩码，与文本解码器生成的文本回答、真实缺陷分割掩码和真实文本回答用于模型参数的训练优化。本发明通过结合分割模型和多模态大语言模型，实现了精准的真实场景感知与分割。