一种轻量型的特征提取算法

目前最先进的基于CNN的检测模型几乎无法部署在具有有限运算能力的移动的设备上，这是由于诸如冗余参数太多和所需的过多运算能力等问题，而知识蒸馏作为一种潜在的实用模型压缩方法可以缓解这种限制。以往的基于特征的知识提取算法更多地关注于传递人们自定义的局部特征，降低了对图像全局信息的充分把握。针对传统特征提取算法的不足，我们首先改进了GAMAttention，使其能够学习图像中的全局特征表示，改进的注意机制能够最大限度地减少处理特征所造成的信息损失。其次，特征移位不再手动定义应该移位哪些特征，提出了一种更具可解释性的方法，其中学生网络学习模仿教师网络预测的高响应特征区域，这增加了模型的端到端属性，并且特征移位允许学生网络在生成语义上强的特征图时模拟教师网络，以提高检测性能的小模型。我们选择Yolov5作为师生对的基本网络结构。通过注意力和知识蒸馏改进了Yolov5，最终在VOC上实现了1.3%的性能增益，在KITTI上实现了1.8%的性能增益。