一种串状果实图像的语义解析与困难样本训练方法及系统

本发明公开了一种串状果实图像的语义解析与困难样本训练方法及系统，包括：获取训练样本集；根据RGB图像和深度图生成RGB‑D四通道输入张量，并根据深度图生成有效深度辅助信息；判定样本数据是否为困难样本或是否存在困难像素区域；在每一次迭代训练时，对当前采样到的样本数据进行数据增强后输入语义解析网络，通过上下文增强和细节结构增强进行特征优化，根据增强后的特征同时输出语义结构解析结果和有效深度辅助预测结果；根据语义标注、有效深度辅助信息、预测结果及判定结果对网络进行迭代训练。本发明通过多模态融合与多任务学习，提升了串状果实图像中目标果实及连接结构的分割精度和模型泛化能力。