基于视觉语言大模型的集装箱危险品货物识别方法及系统

本发明提供一种基于视觉语言大模型的集装箱危险品货物识别方法及系统，该方法包括下述步骤：获取集装箱的装箱照片并进行预处理；利用目标检测模型提取危险品货物装箱照片作为图片训练样本；生成与各图片训练样本分别对应的提示词样本；提取图像样本特征和提示词特征，并利用图片‑提示词对齐模型将两种特征对齐，得到多个图文描述对；构建多模态视觉语言大模型，并使用图文描述对采用三阶段训练策略进行训练；利用监督微调技术对完成三阶段训练的模型微调，输出训练好的模型；将待识别的装箱照片和提示词输入至模型，模型输出危险品货物识别结果。本发明能够自动处理不同场景下的装箱照片，有效融合图像和文本信息，提高危险品识别准确率和效率。