超越教师！PointDistiller：面向高效紧凑3D检测的结构化知识蒸馏（CVPR2022）

论文链接：https://arxiv.org/pdf/2205.11098.pdf

代码链接：https://github.com/RunpeiDong/PointDistiller

摘要

点云表示学习的显著突破促进了它们在自动驾驶汽车和虚拟现实等现实世界应用中的使用。然而，这些应用通常迫切需要不仅准确而且高效的 3D 对象检测。

最近，知识蒸馏已被提出作为一种有效的模型压缩技术，它将知识从过度参数化的教师转移到轻量级学生，并在 2D 视觉中实现一致的有效性。然而，由于点云的稀疏性和不规则性，直接将以前的基于图像的知识蒸馏方法应用于点云检测器通常会导致性能不理想。

为了填补这一空白，本文提出了 PointDistiller，这是一种用于基于点云的 3D 检测的结构化知识蒸馏框架。具体来说，PointDistiller 包括局部蒸馏，通过动态图卷积和重新加权学习策略提取和蒸馏点云的局部几何结构，突出学生对关键点或体素的学习，以提高知识蒸馏效率。

对基于体素和原始点的检测器的广泛实验证明了本文的方法优于以前的七种知识蒸馏方法的有效性。例如，本文的 4 倍压缩 PointPillars 学生在 BEV 和 3D 对象检测上实现了 2.8 和 3.4 mAP 的改进，分别比其老师高 0.9 和 1.8 mAP。