2025_NIPS_HotBEV: Hardware-oriented Transformer-based Multi-View 3D Detector for BEV Perception

HotBEV 文章总结与翻译

一、主要内容

本文聚焦自动驾驶中的鸟瞰图（BEV）感知任务，针对现有纯视觉3D目标检测方法在计算成本、内存负担和实际硬件延迟方面的不足，提出了一种面向硬件的Transformer框架HotBEV。该框架以实际设备延迟为核心优化目标，而非仅依赖计算量（FLOPs）等与硬件无关的指标，通过 latency-aware 设计方法、高效算子融合、硬件优化骨干网络等创新，在保证检测精度的同时实现了显著的推理速度提升。

主要研究内容包括：

1. 问题分析：现有BEV检测方法（LSS-based和Transformer-based）存在硬件适配性差、骨干网络为速度瓶颈、理论性能与实际延迟脱节等问题，尤其在多任务并发的车载场景中易导致系统崩溃。
2. 核心设计：
   • 提出 latency 预测模型，结合硬件特性（内存访问成本、并行度）、层类型、通道维度等参数，直接预测模型在目标GPU上的推理延迟；
   • 设计高效算子与融合技术（卷积调制、BatchNorm与全连接层融合、多分支结构重参数化），解决传统算子硬件不友好问题；
   • 构建面向硬件的骨干网络（HOB），通过“局部-全局”视觉建模和语义增强模块（SAM），平衡特征捕捉能力与硬件效率；
   • 设计硬件优化解码器，结合3D锚点初始化和时序对齐模块（TAM），提升3D场景建模精度与鲁棒性。
3. 实验验证：在nuSce