应用于微塑料图像识别的跨模态样本匹配方法及系统

本发明提供一种应用于微塑料图像识别的跨模态样本匹配方法，包括：对微塑料图像进行颗粒位置的提取和数据对构建；构建双流输入、共享骨干的神经网络模型，其设置为接收反射光模态和透射光模态的颗粒样本图像，并输出对应的颗粒标识和高维特征向量；利用构成数据对的两种模态的颗粒样本图像，对神经网络模型进行训练，得到匹配模型；在推理阶段，利用匹配模型，对待查询图像和库图像执行跨模态匹配，得到最终匹配结果。本发明的方法通过双流输入、共享骨干的神经网络模型来实现不同模态的两组图像的高维特征向量进行匹配，实现不同模态的拍摄的微塑料图像的匹配，从而实现同时把准确的物质种类和足够清晰的图像提供给图像识别模型进行训练。