基于视觉的图像分割模型的训练方法、装置、介质及设备

本申请公开了一种基于视觉的图像分割模型的训练方法、装置、介质及设备，属于深度学习技术领域。生成多个训练样本，训练样本包括原始图、参考图和掩码图；利用图像编码器对原始图进行编码，得到第一图像向量；利用视觉编码器对参考图进行编码，得到第二图像向量；利用MLP对第二图像向量进行空间对齐，得到第三图像向量；利用掩码解码器对第一图像向量和第三图像向量进行处理，得到预测的掩码图；根据预测的掩码图和训练样本中真实的掩码图计算损失值，根据损失值对图像分割模型中各个部分的权重进行训练。本申请能既提高图像分割模型在单样本场景和开集场景下图像分割的准确度和泛化性，也能加快模型的收敛速度。