基于改进注意力迁移的实时目标检测方法

摘要: 目前深度神经网络模型需要部署在资源受限的环境中，故需要设计高效紧凑的网络结构。本文针对设计紧凑的神经网络提出一种基于改进注意力迁移的模型压缩方法(KE)，主要使用一个宽残差教师网络(WRN)指导一个紧凑的学生网络(KENet)，将空间和通道的注意力迁移到学生网络来提升性能，并将该方法应用于实时目标检测。在CIFAR上的图像分类实验验证了经过改进注意力迁移的知识蒸馏方法能够提升紧凑模型的性能，在VOC上的目标检测实验验证了模型KEDet具有很好的精度(72.7mAP)和速度(86FPS)。实验结果充分说明基于改进注意力迁移的目标检测模型具有很好的准确性和实时性。