基于多模态融合图像的半监督生活垃圾分选方法及系统

本发明涉及目标检测技术领域，公开了基于多模态融合图像的半监督生活垃圾分选方法及系统，方法包括：构建多模态目标识别网络，包括特征提取模块、特征融合模块和分类模块；特征提取模块对RGB图像提取多尺度RGB特征和对HSI图像提取多尺度HSI特征，再通过特征融合模块进行加权融合得到多尺度跨模态融合特征；分类模块基于多尺度跨模态融合特征进行目标识别；采集生活垃圾的RGB图像和HSI图像，使用标注数据对网络A和网络B分别进行训练，计算有监督交叉熵损失；使用未标注数据，通过网络A生成伪标签，将伪标签与网络B的预测结果进行对比，计算无监督KL散度损失；结合有监督损失和无监督损失优化网络参数，最终得到检测模型，用于实现生活垃圾分选。