一种基于机器学习的图文影像数据处理系统及方法

本发明提供了一种基于机器学习的图文影像数据处理系统及方法，属于光伏组件数据处理及分类判断技术领域。本发明中数据采集单元用于采集光伏组件的影像数据将其分割为图像数据，并且每一幅图像数据带有对应的缺陷类别标注的文本数据；数据预处理单元用于对图像数据进行滤波和增强处理，对文本数据进行清洗和规范化处理；缺陷区域与特征提取单元用于进行缺陷区域提取以及多维特征提取，得到图像和文本特征向量；多模态特征融合单元用于对图像特征向量和文本特征向量的多模态特征融合；缺陷类型分类及评估单元用于对光伏组件的缺陷进行分类以及评估模型在光伏组件缺陷检测的分类效果。本发明的缺陷类别的分类判断结果精度更高，效率高，鲁棒性更优。