duanmushuangquan的博客

update是cudabevfusion中非常重要的一部分。

create_core其余部分

create_core的另一个重要作用，反序列化engine

encoder_layers 中包含了 4 个 layer，前 3 个 layer 包含了 2 个 SparseBasicBlock 和 1 个 SparseConvolutionQuant (sparseconv 融合了 bn 和 relu，原先是一个 SparseSequential)，最后 1 个 layer 仅包含 2 个 SparseBasicBlock。SparseBasicBlock 内部就是 2 个 SparseConvolutionQuant 和 ReLU。

bevfusion 相机部分onnx导出

量化标定calibration

卷积核bn融合

量化其他部分

本文是Nvidia的英伟达发布的部署MIT-BEVFusion的方案的解析

最近，环视图像的 3D 对象检测因其低部署成本而取得了显著进展。然而，大部分研究主要集中在近距离感知范围，而远距离检测则较少被探索。and将现有方法直接扩展以覆盖远距离带来了重计算成本和不稳定收敛**等挑战。为了解决这些限制，本文提出了一种新颖的基于稀疏查询的****框架，称为Far3D。通过利用高质量的2D 对象先验知识，我们生成了补充3D 全局查询的3D 自适应查询。为了有效捕获不同视图和尺度下远距离对象的判别特征，我们引入了一个感知视角的聚合模块。to此外，我们提出了一种。

摘要— 在自动驾驶车辆中构建不依赖于高密度激光雷达(LiDAR)的3D感知系统是一个关键的研究问题，因为与相机和其他传感器相比，激光雷达系统的费用较高。lifted最近的研究已经发展出各种仅使用摄像头的方法，其中特征可区分地从多摄像头图像中“抬升”到二维地平面，生成车辆周围3D空间的“鸟瞰图”（BEV）特征表示。这一领域的研究产生了各种新颖的“抬升”方法，但我们观察到培训设置中的其他细节同时发生了变化，使得在表现优异的方法中究竟哪些因素真正重要变得不清晰。

简述bevfusion网络部分

nuScenes 数据集 (pronounced /nu:ːsiː:nz/) 是由 Motional (以前称为 nuTonomy) 团队开发的自动驾驶公共大型数据集。nuScenes 数据集的灵感来自于开创性的 KITTI 数据集。nuScenes 是第一个提供自动驾驶车辆整个传感器套件 (6 个摄像头、1 个 LIDAR、5 个 RADAR、GPS、IMU) 数据的大型数据集。与 KITTI 相比，nuScenes 包含的对象注释多了 7 倍。

各传感器特点相机：cameras capture rich semantic information摄像头捕捉丰富的语义信息Lidar： LiDARs provide accurate spatial information激光雷达提供准确的空间信息RADAR：radars offer instant velocity estimation雷达提供即时的速度估计为啥要融合。

多传感器融合对于准确和可靠的自动驾驶系统至关重要。最近的方法基于点级融合：用摄像头特征增强激光雷达点云。the然而，摄像头到激光雷达的投影丢弃了摄像头特征的语义密度，这阻碍了这种方法的有效性，特别是对于语义导向的任务（如3D场景分割）。在本文中，我们用BEVFusion打破了这一根深蒂固的传统，BEVFusion是一个高效和通用的多任务多传感器融合框架。它在共享的鸟瞰视图（BEV）表示空间中统一了多模态特征，从而很好地保留了几何和语义信息。为了实现这一点，我们通过。

Nuscenes数据集采集数据车辆传感器布局。

自动驾驶采集小车上激光雷达的工作原理，举例两种激光雷达

2021 年是自动驾驶开启商业化的元年，自动驾驶进入商业化探索的快车道，主要的国家加快政策法规突破以促进自动驾驶商业化。: 英伟达发布的部署MIT-BEVFusion的方案，以惊人的25FPS同时保持67.66的高精度mAP运行在Orin上。: 特指MIT提供的BEVFusion融合方案，2022年5月26日发布的论文，是一个多任务多传感器融合框架。BEVFusion属于配备了多种传感器，使用多种传感器融合的自动驾驶系统方案，也同样极具竞争力。特斯拉代表的纯视觉方案，在自动驾驶领域独树一帜。