Fast-BEV：A Fast and Strong Bird’s-Eye View Perception Baseline——论文笔记

原创 已于 2023-02-10 01:25:55 修改 · 885 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #人工智能 #深度学习

于 2023-02-06 01:10:42 首次发布
本文介绍了Fast-BEV，一种基于M2BEV改进的高效车载鸟瞰视角感知方案，旨在实现在Nvidia Orin平台上实现高帧率运行。文章重点讨论了图像编码优化、2D到3D转换的加速、多帧数据融合及数据增广等技术，以提升网络性能和实时性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考代码：Fast-BEV
一稿多投的另一篇：Fast-BEV: Towards Real-time On-vehicle Bird’s-Eye View Perception

1. 概述

介绍：这篇文章提供了一种可实际部署的BEV感知方案，能够在当今车端主流计算单元上（Nvidia Orin）实现不错的帧率。从camera到BEV的转换思想来自于M2BEV，但是对这个转换方法中使用查找表和映射方法改进，使得整体视角转换效率得到提升。同时，在一些细节上增加了多帧数据融合、图像编码器使用FPN优化特征、camera和BEV下的数据增广等操作提升网络性能。

这篇文章是在M2BEV的基础上改进来的，这里顺带提一下M2BEV中对于BEV特征图上分割Loss权重分布的设计，也就是BEV Centerness：
B E V   C e n t e r n e s s = 1 + ( x i − x c ) 2 + ( y i − y c ) 2 ( m a x ( x i ) − x c ) 2 + ( m a x ( y i ) − y c ) 2 BEV\ Centerness=1+\sqrt{\frac{(x_i-x_c)^2+(y_i-y_c)^2}{(max(x_i)-x_c)^2+(max(y_i)-y_c)^2}} BEV Centerness=1+(max(xi

最低0.47元/天 解锁文章

200万优质内容无限畅学
【BEV 视图变换】Fast-Ray(1): Fast-BEV论文讲解
m0_51579041的博客
08-29 467
Fast-BEV论文讲解
TPAMI 2024 | Fast-BEV: 一种快速且强大的鸟瞰图感知基线
最新发布
小白学视觉
04-02 62
近年来，基于鸟瞰图（BEV）表示的感知任务引起了越来越多的关注，BEV表示有望成为下一代自动驾驶车辆（AV）感知的基础。然而，大多数现有的BEV解决方案要么需要大量资源来执行车载推理，要么性能表现一般。本文提出了一种简单而有效的框架，称为Fast-BEV，能够在车载芯片上执行更快的BEV感知。为此，我们首先通过实验发现，BEV表示可以在不需要昂贵的基于Transformer的变换或深度表示的情况下足够强大。
论文阅读——Fast-BEV: A Fast and Strong Bird’s-Eye ViewPerception Baseline
weixin_46779338的博客
02-11 1358
考虑到在构建感知系统时，摄像机位置及其内/外参数是固定的，并且该论文的方法不使用依赖数据的depth predicate和Transformer，因此对于每个输入，各个摄像头的投影指数都是相同的。如下图所示，是填充密集体素的鸟瞰图。我们的方案不像基于lift - splash - shoot的改进视图转换方案，其离散深度，然后估计深度，即使加上繁琐的CUDA并行计算，速度也不够快，更不用CPU来进行相应的计算过程，在GPU上的耗时可以忽略不计，在CPU上的速度远远领先于其他方案，部署非常方便。
(BEV论文精读6)Fast-BEV: A Fast and Strong Bird’s-Eye ViewPerception Baseline
qq_55794606的博客
08-29 1723
基于查询的方法通过Transformer中的注意力机制获得3D BEV特征。这个过程可以表示为公式1：在一些计算平台上，Transformer架构的注意力操作存在部署挑战，这阻碍了这些方法的实际应用。基于深度的方法通过计算2D特征与预测深度的外积来获得3D BEV特征。这些方法在支持CUDA多线程的GPU平台上可以显著提高推理速度，但在较大分辨率和特征维度下会遇到计算速度瓶颈，并且在没有推理库支持的非GPU平台上迁移起来并不友好。
详解视觉BEV3D检测模型: Fast-BEV: A Fast and Strong Bird‘s-Eye View Perception Baseline
10点43的博客
02-05 6435
本文介绍一篇视觉BEV3D检测模型:，论文收录于。目前大多数现有的BEV感知方案要么需要相当多的资源来执行车端推理，要么性能不高。本文提出了一种简单而有效的框架，称为，它能够在车载芯片上执行更快的BEV感知。为了实现这一目标，本文通过试验发现，其中，(1)和(3)使Fast-BEV能够在车载芯片上快速推理和方便部署，(2)，(4)和(5)确保Fast-BEV具有竞争力的性能。这些都使得Fast-BEV成为自动驾驶车载芯片上高性能、快速推理和易于部署的解决方案。
Fastbev论文解读
weixin_46559458的博客
09-06 535
快速射线变换算法，如Alg.2所示，它将输入的多视图2D图像特征转移到一个体素3d空间中，其中每个体素单元由预先计算的LU T填充相应的2D图像特征。对于重叠区域的多个视图的情况，我们直接采用第一个遇到的视图来提高表构建的速度。我们的提议不喜欢基于 Lift-Splat-Shoot 的改进视图转换方案 [1]、[15]、[26]，即使繁琐的 CUDA 并行计算没有足够快，更不用说使用 CPU 进行相应的计算过程，GPU 上的耗时可以忽略不计，CPU 上的速度远远领先于其他解决方案，这对于部署来说非常方便。
论文阅读：Fast-BEV: Towards Real-time On-vehicleBird’s-Eye View Perception
blueag1e的博客
10-12 343
M2BEVq∈Pxyz​kv∈F2D​uv。
MIT-BEVFusion系列四-1：BEVFusion:Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View论文中英文对照(前两章)
duanmushuangquan的博客
01-31 1446
多传感器融合对于准确和可靠的自动驾驶系统至关重要。最近的方法基于点级融合：用摄像头特征增强激光雷达点云。the然而，摄像头到激光雷达的投影丢弃了摄像头特征的语义密度，这阻碍了这种方法的有效性，特别是对于语义导向的任务（如3D场景分割）。在本文中，我们用BEVFusion打破了这一根深蒂固的传统，BEVFusion是一个高效和通用的多任务多传感器融合框架。它在共享的鸟瞰视图（BEV）表示空间中统一了多模态特征，从而很好地保留了几何和语义信息。为了实现这一点，我们通过。
BEV感知算法 | FastBEV论文解读
DeepDriving
07-18 1718
FastBEV在M2BEV的基础上对视图变换方法做了一些优化，加入BEVDet4D中的时序融合方法，是一个高性能、推理速度快、部署友好的BEV感知算法。在读FastBEVBEV感知算法 | LSS论文与代码详解BEV感知算法 | BEVDet系列算法论文解读BEV感知算法 | M2BEV论文解读。
【亲测免费】 探索创新科技：Fast-BEV - 实时BEV感知框架
gitblog_00027的博客
04-17 510
探索创新科技：Fast-BEV - 实时BEV感知框架 在自动驾驶和智能交通领域，Bird's Eye View (BEV) 视图是一种至关重要的感知方式，它提供了一种全局、无遮挡的车辆周围环境视角。然而，高效的实时BEV转换与感知仍然是一个挑战。现在，让我们深入了解，一个由Sense-GVT团队开发的高性能BEV感知框架，它旨在解决这一难题。 项目简介 Fast-BEV是一个基于Python和P...
面向工程，高精度高效率！Fast BEV：快速而强大的BEV感知基线（NIPS2022）
CV_Autobot的博客
02-15 2508
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【BEV感知】技术交流群后台回复【FastBEV】获取本文论文和代码！！！近年来，基于鸟瞰图（BEV）表示的感知任务越来越受到关注，BEV表示有望成为下一代自动驾驶车辆（AV）感知的基础。现有大多数的BEV解决方案要么需要大量资源来执行车载推理，要么性能不佳。本文提出了一种简单而有效的框架，称为Fast BEV...
经典文献阅读之--Fast-BEV(实时鸟瞰图感知)
热门推荐
lovely_yoshino的博客
01-29 1万+
相信最近大家已经被Transformer给洗脑了，作者也在《》中提到了深度学习相关的技术。这就随之带动的就是如何使用基于纯相机的鸟瞰图（BEV）感知技术来替代昂贵的激光雷达传感器，并使其能够应用在自动驾驶上，这目前是急需解决的问题，由于现在Transformer的计算仍然需要大量资源来执行车载推理，无法满足实时性。为此我们来看一下这一篇《》文章，文中发现发现BEV表示可以在不使用昂贵的视图变换或深度表示的情况下就可以拥有较好的性能，文中将M2BEV作为Baseline，然后进一步引入（1）（2）
【BEV学习日记】fastBEV部署
weixin_42172114的博客
06-24 2501
fastBEV在WSL ubuntu和ubuntu18.0.4同步部署，相关依赖环境安装，使用conda、cuda
【BEV】学习笔记之FastBEV(原理+代码注释)
Rex大居
02-23 6789
FastBEV
算法环境配置6_BEV系列之Fast-Bev
weixin_43653152的博客
07-10 3555
Fast-BEV环境搭建
面向工程，高精度高效率！FastBEV-笔记
dui845819593的博客
02-15 598
现有大多数的BEV解决方案要么需要大量资源来执行车载推理，要么性能不佳Fast BEV是一种简单而有效的框架，它能够在车载芯片上执行更快的BEV感知。为了实现这一目标，作者首先从经验上发现，BEV表示可以足够强大，而无需昂贵的基于transformer的变换或深度表示。FastBEV由以下五部分组成：（1）Fast-Ray变换一种轻量级的、易于部署的视图转换，它将2D图像特征快速传输到3D体素空间；
fast_bev 学习笔记
yunqiushuiman的博客
04-09 1349
Fast-Ray变换：这是一种轻量级的、部署友好的视图变换，它将多视图2D图像特征沿着相机射线的体素投影到3D，从而快速获得BEV（鸟瞰图）表示。FAST BEV的优势在于其能够在保证高性能的同时，实现快速推理和方便部署。通过融合多帧图像的特征信息，该部分能够捕捉动态场景中物体的运动轨迹和状态变化，从而进一步提升BEV感知的准确性和实时性。通过一系列的处理步骤，如Fast-Ray变换、多尺度图像编码、高效BEV编码等，对输入的RGB图像进行特征提取、视图变换和编码，最终输出3D边界框和地图分割结果。
NeurIPS 2022 | Fast-BEV：一种基于CNN的实时车载BEV感知方法
CV_Autobot的博客
01-23 2165
作者|派派星 编辑| CVHub点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【BEV感知】技术交流群后台回复【3D检测综述】获取最新基于点云/BEV/图像的3D检测综述！Paper:https://arxiv.org/pdf/2301.07870.pdfCode:https://github.com/Sense-GVT/Fast-BEV导读近...
CUDA-FastBEV：高效3D目标检测的利器
gitblog_00133的博客
09-10 437
CUDA-FastBEV：高效3D目标检测的利器 项目介绍 CUDA-FastBEV 是一个基于CUDA和TensorRT的高效3D目标检测推理库，专为Fast-BEV模型设计。该项目不仅提供了模型的推理实现，还包含了PTQ（Post-Training Quantization）和QAT（Quantization-Aware Training）的INT8量化代码，旨在进一步提升推理速度和效率。 项...
fast-bev代码复现
03-18
<think>好的，我需要帮助用户找到关于Fast-BEV代码复现的教程或实现细节。首先，我需要回顾用户提供的引用内容，看看是否有相关的信息。 根据引用[1]，Fast-BEV项目的地址是https://gitcode.com/gh_mirrors/fa/Fast-BEV，这可能是一个镜像仓库。用户可能需要访问这个链接来获取源代码。同时，引用[2]提到了官方的GitHub仓库：https://github.com/Sense-GVT/Fast-BEV，这应该是主要的代码库，用户应该从这里获取最新的代码和文档。 接下来，引用[3]讨论了Fast-BEV的技术细节，特别是2D到3D的视图转换方法，提到了基于transformer的注意力机制。这部分可能在论文中有详细说明，但用户需要的是代码实现的教程，所以需要检查项目仓库中的文档。 通常，开源项目会在README文件中提供安装和快速开始的指南。用户需要按照这些步骤安装依赖项，准备数据集，并进行训练或推理。例如，可能需要安装PyTorch、MMDetection等框架。此外，数据集的准备可能涉及下载特定的自动驾驶数据集，如nuScenes，并进行预处理。 如果仓库中的文档不够详细，用户可能需要参考论文中的实现细节，尤其是模型架构和参数设置。引用[3]提到的公式可能对应代码中的某些模块，比如视图变换的部分。此外，用户可能需要查看仓库中的配置文件（如configs目录下的文件），了解模型的具体参数和结构。 复现过程中可能会遇到环境配置、依赖冲突或数据预处理的问题。用户需要仔细检查错误信息，确保所有库的版本兼容。如果官方仓库有提供预训练模型，下载这些模型并进行推理测试可以验证环境是否正确配置。 此外，用户可能对优化Fast-BEV的性能或应用场景感兴趣，但当前问题集中在代码复现上，因此需要专注于实现步骤和解决常见问题的方法。</think>以下是为您整理的Fast-BEV代码复现及实现解析指南： ### 一、代码获取与准备 1. **官方源码获取** - 主仓库：`https://github.com/Sense-GVT/Fast-BEV` [^2] - 镜像仓库：`https://gitcode.com/gh_mirrors/fa/Fast-BEV` [^1] 建议优先使用主仓库获取最新代码，通过`git clone`下载后注意检查requirements.txt中的依赖版本 2. **关键技术依赖** ```bash # 示例环境配置（具体版本参考仓库说明） conda create -n fastbev python=3.8 conda install pytorch==1.9.0 torchvision==0.10.0 cudatoolkit=11.1 -c pytorch pip install mmdet==2.14.0 mmcv-full==1.3.9 ``` ### 二、核心实现解析 1. **视图转换模块** 对应`fastbev/models/view_transformer.py`中的`FastRayTransform`类，实现了论文中的快速射线变换： ```python class FastRayTransform(nn.Module): def __init__(self, in_channels, bev_h, bev_w): # 初始化参数与论文公式(3)对应[^3] self.bev_z = nn.Parameter(torch.randn(bev_h, bev_w, 1)) def forward(self, img_feats): # 实现2D特征到3D BEV空间的快速投影 return bev_feats ``` 2. **多相机特征融合** 在`fastbev/models/backbones/multiview_encoder.py`中通过时序融合模块实现多帧数据融合，关键代码段： ```python def temporal_fusion(self, current_feat, prev_feats): # 使用门控机制融合时序特征 fused_feat = self.gate_conv(torch.cat([current_feat, prev_feats], dim=1)) return fused_feat * current_feat + (1 - fused_feat) * prev_feats ``` ### 三、复现实践步骤 1. **数据准备** - 下载nuScenes数据集（需注册申请） - 运行数据预处理脚本： ```bash python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes_processed ``` 2. **训练配置** 修改`configs/fastbev_r50_704x256.py`中的： ```python data_root = 'data/nuscenes_processed/' # 数据集路径 batch_size = 4 # 根据GPU显存调整 optimizer = dict(lr=2e-4) # 学习率设置 ``` 3. **启动训练** ```bash ./tools/dist_train.sh configs/fastbev_r50_704x256.py 8 # 8卡训练 ``` ### 四、常见问题解决 - **显存不足**：减小`batch_size`或使用梯度累积 - **依赖冲突**：严格按照仓库要求的mmdet/mmcv版本安装 - **数据加载慢**：使用SSD存储或增加`num_workers`参数
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值