利用对比知识蒸馏训练神经网络

通过对比知识蒸馏使用支持神经网络可以训练目标神经网络。从支持神经网络提取第一特征图。从目标神经网络提取特征图并且将特征图转换成第二特征图。通过将第一特征图划分成支持样本并且将第二特征图划分成目标样本可以形成对比对。对比对可以包括表示支持特征图中的像素的支持样本和表示已转换的目标特征图中的像素的目标样本。基于正对和负对可以确定对比损失。基于支持特征图和目标特征图可以确定特征蒸馏损失。至少使用对比损失和特征蒸馏损失可以更新目标神经网络的内部参数。