BEVDistill: Cross-Modal BEV Distillation for Multi-View 3D Object Detection

Paper name

BEVDistill: Cross-Modal BEV Distillation for Multi-View 3D Object Detection

Paper Reading Note

URL: https://openreview.net/forum?id=-2zfgNS917

TL;DR

• ICLR 2023 openreview 挂的文章，主要做 lidar -> camera 模态的蒸馏，在 BEVFormer 的基础上做实验， NDS 提升了 3.4 （单帧）2.7（多帧），NuScenes test 集上的最高 NDS 为 59.4

---

Introduction

背景

• 基于纯 camera 的 3d 物体检测方法有成本低和高性能的优势，同时在远距离物体检测与类别识别上有优势
• 基于纯 camera 的方法对于距离定位还是比较困难的，这部分信息可以通过 lidar 获取，所以希望通过 lidar 蒸馏来提升纯 camera 性能
• 当前的基于 lidar 提升 camera 的问题
  • 基于lidar额外训练一个深度估计模块：部分方法需要在 inference 时增加深度估计模块，增加了 inference 耗时
  • lidar 蒸馏 camera：
    • monodistill 将 lidar 点转换到图像域上，让 lidar teacher 难以实现较高精度，导致蒸馏性能低
    • UVTR 在 voxel space 上蒸馏，需要让 2d 分支也模拟出 3d 特征，忽视了不同模态之间的固有差异