PointBeV：A Sparse Approach to BeV Predictions

最新推荐文章于 2025-07-29 14:48:34 发布
原创 最新推荐文章于 2025-07-29 14:48:34 发布 · 993 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉

本文介绍了一种稀疏化BEV特征构建方法，通过前景点筛选、分层细化和时序融合减少内存和计算资源。然而，实现实时应用面临挑战，如前景背景判断困难、计算平台兼容性及鲁棒性问题。尽管如此，其思想值得后续研究借鉴。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考代码：PointBeV

动机与出发点
常见显式构建BEV特征的算法会稠密设置BEV网格，这样就会引入背景像素上的无效计算，对应内存与计算资源使用也会变大。这篇文章通过前景点筛选、由粗到精细化、窗口时序融合方式构建一种稀疏化表达的BEV特征表达。文章给出的方法自然在对应数据集下效果很好，但是在实际工程化中却需要解决如下的问题：

  • 1）前景和背景点区分在真实场景下是很难的，单纯依据阈值设置很难权衡准召
  • 2）方案中很多的操作是类似于RoI的形式，这些操作在现有的车端计算平台不是那么友好，出发点是提速实际很可能是负收益
  • 3）真实场景下内外参抖动的问题这个方案也没做针对地鲁棒性设计

但是文章的中的减少内存和计算资源开销的思想还是可以借鉴的，或许在后续的科研与工作中用到。

方法设计
文章2D到BEV的转换流程见下图所示：
在这里插入图片描述
按照上面的思路文章的方案会在2D BEV空间上按照一定的策略去采样一些点，并将这些采样点按照类似FastBEV的方式从2D图像中获取粗略的BEV特征，这些粗略的BEV特征会经过由粗到精细化模块得到最后的BEV特征。自然还会引入时序上的操作来提升网络性能，但是对时序融合部分做了窗口限定，当前帧的特征作为query只在窗口内做计算和优化。

采样点策略
文章的方案突出的稀疏特性，那么BEV采样点自然也是稀疏的，在训练阶段采用随机撒点的方式作为起始种子点。那么在infer阶段就是使用启发式设置作为种子点选择的方式了，什么等间隔采样（文章默认的）、按照距离ego距离做高斯分布采样、借助SD map（定位不准或是道路更新不及时怎么办？）、相机可视化范围、雷达点云分布样式。也就是下面这些采样可视化效果图
在这里插入图片描述
确定采样点之后由2D图像特征构建粗糙BEV特征的过程就参考FastBEV就行了，之后就是需要经过由粗到精细化过程

由粗到精细化
首先会对这些采样点进行前景背景划分来确定RoI，在此基础上使用一个半径确定一个区域，并预测这些区域的结果，由参与预测点数量增加来细化BEV预测结果，也就是下图中的过程（这操作一看就在板子上跑不快）
在这里插入图片描述

时序融合
这里将当前帧的前景点作为query，之前帧的特征作为key和val。但是在做attention的时候是需要考虑计算的范围的，这些计算的范围也需要ego-motion的加持（那么这个东西不准的时候呢？）。
在这里插入图片描述

实验结果
在这里插入图片描述

TPAMI 2024 | 探索基于Point-BEV融合的3D点云对象跟踪与Transformer
小白学视觉
10-03 176
随着激光雷达传感器在自动驾驶中的广泛使用，3D点云对象跟踪引起了越来越多的关注。在点云序列中，3D对象跟踪旨在预测对象在连续帧中的位置和方向。受到Transformer成功的启发，我们提出了点跟踪Transformer（PTTR），该方法利用Transformer操作以粗到细的方式高效预测高质量的3D跟踪结果。PTTR包含三个新颖的设计。1）我们设计了关系感知采样，代替随机采样，以在子采样过程中保留与给定模板相关的点。
目标检测YOLO实战应用案例100讲-基于激光雷达点云的三维目标检测算法研究(下)
qq_36130719的博客
04-25 871
Pseudo-LiDAR采样可以遵循随机性的方法，对全部点云进行采样，然而该方式很可能会抹去小物体的点云，对相隔较远处的物体检测衰减也能够预期，如图。功能，因此本文将掩码乘到对应的原始点云特征𝑝上，再与原始𝑝以残差连接的方式相加，得到最终的融合特征，最终输出定义如公式4-5所示。主干特征的提取网络选择Densenet161，对深度估计模型进行训练并收敛，以视为后续端到端训练的的预训练模型。根据表5-1可以得知，本文建立的实验神经网络模型数量达到6个，Base表示的是基线，SSIS确定的。
PointBeV：一种稀疏的鸟瞰图预测方法
gitblog_00892的博客
04-01 793
PointBeV：一种稀疏的鸟瞰图预测方法 项目介绍 PointBeV 是一种针对鸟瞰图（Bird's Eye View，简称 BeV）分割任务的稀疏方法。该方法不是在密集的网格上操作，而是在稀疏的 BeV 特征上进行，从而提供了对内存使用的精确控制。PointBeV 可以适应内存受限的平台，并利用长期的时间上下文信息。通过有效的两阶段训练策略，PointBeV 能够专注于感兴趣区域的计算，并在推...
点云BEV融合！PTTR++：3D点云单目标跟踪新SOTA（南洋理工）
CV_Autobot的博客
10-30 2220
随着激光雷达传感器在自动驾驶中的普及，3D目标跟踪受到了越来越多的关注。在点云序列中，3D目标跟踪旨在预测给定目标模板的连续帧中目标的位置和方向。由于transformer的成功，论文提出了Point Tracking TRansformer（PTTR），其可以通过transformer操作以从粗到细的方式有效预测高质量的3D跟踪结果。
BEV、单目和激光雷达 3D 感知算法开箱即用，无缝衔接 Apollo ！
OpenVINO的博客
03-18 674
点击蓝字关注我们,让开发变得更有趣排版| 李擎BEV、单目和激光雷达 3D 感知算法开箱即用，无缝衔接 Apollo ！OpenVINO™本次为大家带来深度学习 3D 感知能力体验。欢迎广大开发者基于英特尔 OpenVINO™，体验 Paddle3D 的新特性。当今时代，通过科技改变生产生活方式的各种先进技术纷纷崛起，交通产业也经历着巨大的变革。国家对于智能交通和交通强国战略的支持使得交通产业更...
BEV（Bird’s-eye-view）三部曲之二：方法详解
热门推荐
mathlxj的博客
11-04 2万+
BEV调研之近期主流论文的核心内容、测速
3D Representation Methods: A Survey_METHODS
初见月
10-27 1132
3D表示方法综述(方法)
DeepRoute Lab | AAAI22新工作：基于稀疏跨尺度注意力网络的高效LiDAR全景分割
DeepRoute_Lab的博客
03-08 1924
今天和大家分享工作的是自动驾驶中的点级别的全景分割感知任务。内容主要是解读我们组最新的一篇被AAAI22接收的点云全景分割的工作。
ADAPT：动作感知驾驶字幕转换器
真诚的灰灰的博客
08-05 4930
(a) 输入为车辆前置摄像头视频，输出为预测的车辆控制信号以及当前动作的叙述和推理。我们首先从视频中密集且均匀地采样T帧，这些帧被送入可学习的Swin Transformer视频编码器并被标记化为视频标记。不同的预测头分别生成最终的运动结果和文本结果。(b)和©分别显示了预测头。在这个框架中，视频帧的采样是为了捕捉车辆前方视角的关键视觉信息，这些信息对于理解车辆的动态和周围环境至关重要。
【CVPR2020】3D目标检测论文汇总
Memory
09-16 2579
文章目录1. 3D目标检测——室外1. Associate-3Ddet: Perceptual-to-Conceptual Association for 3D Point Cloud Object Detection2. Structure Aware Single-stage 3D Object Detection from Point Cloud3. PnPNet: End-to-End Perception and Prediction with Tracking in the Loop4. DOP
纯视觉至上！聊一聊时序融合在BEV感知中的应用
CV_Autobot的博客
11-30 3672
作者| 苹果姐 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/583682754https://zhuanlan.zhihu.com/p/586713719点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【多传感器融合】技术交流群后台回复【多传感器融合综述】获取图像/激光雷达/毫米波雷达融合综述等干货资料！在传统感知...
ECCV 2024 | 通过直接BEV特征注意力加速在线建图和行为预测
CV_Autobot的博客
08-26 618
作者|Sakura 编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/714161678点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『轨迹预测』技术交流群本文只做学术分享，如有侵权，联系删文开源代码：https://github.com/alfredgu001324/Ma...
AVOD：点云数据与BEV图的处理及可视化
夏小悠的博客
05-09 5670
本篇主要记录对`AVOD`代码的学习与理解，主要是`KITTI`数据集中`3D Object Detection`任务中的点云数据和`BEV`图的处理，为方面理解其中的操作，博主在这里加入了可视化的操作。
Simple-BEV：多传感器BEV感知中真正重要的是什么？
CV_Autobot的博客
06-06 1073
作者|dianyunPCL 编辑| 点云PCL点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【BEV感知】技术交流群摘要多传感器的鸟瞰视图（BEV）感知在自动驾驶中扮演着重要的角色。然而，在实际应用中，选择适合的传感器和特征对于实现准确和鲁棒的BEV感知至关重要。本文提出了一种名为Simple-BEV的方法，旨在探究多传感器BEV感知中真正重要的因...
自动驾驶感知新范式——BEV感知经典论文总结和对比（上）
苹果姐计算机视觉原创知识分享
07-22 7680
自动驾驶bev感知经典论文总结和对比
【文章阅读】PointPainting
有所为，有所成长
04-21 8091
前言 本文来自nuTonomy自动驾驶公司，目前已经被CVPR20接收。值得注意的是，本文并不是提出了新的结构，而是在利用额外的信息融合进之前表现SoTA的网络中，表现出了检测精度的提升。 文章地址 https://arxiv.org/pdf/1911.10150.pdf 本文主要内容概括 本文研究了一种新的image和lidar的fusion方式，在18年SOTA的baseline上都显示出精度...
YOLO--目标检测基础
最新发布
2201_75762674的博客
07-29 409
NMS（Non-Maxmum suppression）非极大值抑制：是目标检测目标库后处理的方法。它的出现主要是为了解决对同一个检测目标出现多个目标框的问题。如图，在最后的结果中，我们往往只需要一个最终的，最准确的目标框，所以NMS就发挥了很大的作用。3.2运算流程（1）设置IoU（目标框置信度阈值），一般设为0.5，小于这个值的框会被过滤，一般是用来过滤网格中心Bounding Box中没有预测到目标的目标框；（2）根据置信度进行降序排列候选框；
04 OpenCV--图像预处理之图像梯度处理、图像边缘检测、图像轮廓检测、凸包的相关操作
2202_75674969的博客
07-25 921
本文介绍了图像处理中的梯度计算、边缘检测和轮廓分析方法。首先阐述了图像梯度的概念，将图像视为二维函数，通过Sobel、Prewitt等算子计算水平和垂直方向的导数，获取边缘信息。接着详细讲解了完整的边缘检测流程，包括高斯滤波去噪、梯度计算、非极大值抑制和双阈值筛选。最后重点介绍了轮廓处理技术，包括轮廓查找方法（RETR_EXTERNAL、RETR_LIST等）、轮廓绘制以及凸包计算（穷举法和QuickHull法），并给出了OpenCV实现代码。这些技术为图像特征提取和目标识别提供了重要基础。
opencv学习（图像梯度）
weixin_63566653的博客
07-26 1377
在图像处理中，图像梯度（Image Gradient）是描述图像中像素值变化率的概念，是理解图像中 “哪里发生变化” 以及 “变化有多剧烈” 的核心工具。从简单的 Sobel 算子到复杂的 Canny 算法，本质都是通过梯度分析实现边缘提取，是计算机视觉中处理图像结构的基础。
Eigen::SparseMatrix
12-29
### 使用 Eigen 库中的 SparseMatrix 类 #### 创建和初始化稀疏矩阵对象 为了创建一个 `SparseMatrix` 对象，可以指定其维度以及动态分配的空间大小。通常建议预先估计非零元素的数量以优化性能。 ```cpp #include <Eigen/Sparse> // 定义一个双精度浮点数类型的稀疏矩阵, 行优先存储方式 Eigen::SparseMatrix<double> m(rows, cols); m.reserve(Eigen::VectorXi::Constant(cols, 8)); // 预留每列大约有8个非零项 ``` #### 插入非零元素到稀疏矩阵中 通过调用 `.insert()` 方法可以在特定位置插入新的非零条目；如果该位置已经存在，则会更新现有值。注意，在完成所有插入之前不应访问矩阵数据结构。 ```cpp for(int k = 0; k < num_entries; ++k){ int i = row_indices[k]; int j = col_indices[k]; double v = values[k]; // 如果(i,j)处还没有设置过数值则插入新值v m.insert(i, j) = v; } ``` #### 执行基本线性代数运算 一旦构建好稀疏矩阵之后就可以像对待常规密集型矩阵那样执行各种算术计算了。例如求解线性方程组 Ax=b： ```cpp // 构建系数矩阵A (假设已知) Eigen::SparseMatrix<double> A; // 设置右侧向量b Eigen::VectorXd b(n); // 解决Ax=b问题得到x Eigen::SimplicialLLT<Eigen::SparseMatrix<double>> solver(A); Eigen::VectorXd x = solver.solve(b); ``` 对于稠密矩阵，类 `Map<SparseMatrixType>` 可用于将外部缓冲区视为 Eigen 的 SparseMatrix 对象[^1]。这允许更灵活的数据交换机制而无需复制整个数组内容。 在许多应用场景下（比如有限元分析），经常会遇到规模巨大但大部分区域都接近于零的大尺寸矩阵。这时采用专门设计用来保存少量有效成分的形式——即所谓的“稀疏矩阵”，能够显著降低资源占用并加快算法效率[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值