论文阅读笔记

1.Keywords：CVPR，

Title：Multi-Scale Aligned Distillation for Low-Resolution Detection

Abstract：

在实例级检测任务（例如对象检测）中，降低输入分辨率是提高运行时效率的容易选择。然而，这种会极大地降低检测性能。

本文侧重于通过从高分辨率或多分辨率模型中提取知识来提高低分辨率模型的性能。

通过移动特征金字塔位置来探索不同输入分辨率模型之间的空间对齐特征图的想法，并引入对齐的多尺度训练来训练一个多尺度教师，可以将其知识提取到低分辨率学生。

提出了交叉特征级融合来动态融合教师的多分辨率特征，以更好地指导学生。

在 mAP 方面优于后者的低分辨率模型 2.1% 到3.6%。

1.Introduction：

大量的计算需求使得一些大模型无法应用到真实世界；

模型压缩：深度宽度修建网络、采用高效的块结构；

 本文着重于将低分辨率检测模型的性能升级到其高分辨率检测模型；
图像分类背景下，教师网络与学生网络空间尺度相同。但在实例级检测的背景下，将KD应用于高分辨率教师和低分辨率学生网络并非易事，因为它们在相同的网络阶段不共享相同的特征/输出空间大小;

对老师产生的特征图进行下采样 以匹配学生的特征图，该方法不可取的原因是严重破坏预测的特征和输出，使其难以反映教师所学的实际知识。

我们解决的问题：探索特征图的对齐，以解决高分辨率教师和低分辨率学生之间的输出大小不匹配问题。

实例级检测任务：FPN特征金字塔。上一个网络阶段的特征图大小是当前阶段的2倍。对于低分辨率的学生，我们采用的输入分辨率比教师使用的典型输入分辨率小2倍。这提供了两个输入分辨率模型之间的特征级一致性，并允许它们的特征在空间上匹配。

我们的方法：对齐的多尺度训练方法和跨特征级融合模块来训练一个强大的教师。

贡献：

• 对齐：对齐不同分辨率模型的特征图
• 训练多尺度、多分辨率融合教师的框架
• 实例级任务进行消融研究和对比实验

2.Related Work：

单次实例级检测：设计新的网络模块和架构，在保持良好检测性能的同时加快模型推理时间。

我们的方法：减低输入分辨率来提高运行效率，不需要对网络结构做过多修改

2.1 KD知识蒸馏

2.2 改进低分辨率模型

• 多尺度训练：提高模型对输入分辨率的鲁棒性
• KD+多尺度训练可以用于图像分类，因为多分辨率模型的输出大小一样；但此方法用于实例检测有困难，因此我们提出对齐的多尺度训练方法。

3.Method：

 教师模型：左边训练强大的多分辨率教师模型，右边在多分辨率教师的指导下训练低分辨率教师

4.Experiments

5.Conclusion

 v