国能榆次热电有限公司

本发明公开了一种光伏组件多模态特征融合缺陷检测方法及系统，涉及光伏组件缺陷检测技术领域，该方法包括获取光伏组件的图像并预处理；分别图像进行多尺度特征提取，获得红外和可见光多尺度特征图集合；对各尺度双模态特征图进行跨模态语义对齐后执行跨层交互融合，获得跨层增强特征图集合；动态评估红外和可见光模态的置信度分数；通过缺陷类型感知门控网络为不同缺陷类型分配差异化模态贡献权重，对跨层增强特征图集合进行自适应加权融合，获得多模态融合特征图；输入缺陷检测网络输出缺陷检测结果。本发明解决了模态间语义尺度错配、融合权重静态设定的问题，实现光伏组件多类型缺陷的精准检测。