基于视觉语言模型的杆塔损伤自动判别方法及系统

本发明属于图像智能分析与杆塔损伤监测技术领域，具体涉及一种基于视觉语言模型的杆塔损伤自动判别方法及系统。该方法采集目标区域的无人机巡检图像、地面监控图像等多源杆塔损伤图像；通过滑动窗口机制拆分多源杆塔损伤图像得到多个子图像。本方法通过局部语义对齐策略的滑动窗口机制拆分图像，再通过专项CLIP模型的视觉编码器从多个子图像中识别出异常信息，将这些异常信息与预设好的通用特征的文本描述在空间上精确匹配，就可以加强杆塔损伤图像与文本描述之间语义表达的关联性，从而提高模型的泛化能力，从而解决现有的灾害判别方法由于模型泛化能力不足导致杆塔损伤识别精度低的技术问题。