BEV感知算法 | LSS论文与代码详解

已于 2024-07-01 09:18:56 修改
阅读量1.9k 收藏 35
点赞数 12
分类专栏： 自动驾驶与深度学习 文章标签： 自动驾驶 深度学习
于 2024-06-28 17:43:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44613415/article/details/140050037
版权

本文首发于公众号【DeepDriving】，欢迎关注。

0. 前言

最近几年，BEV感知是自动驾驶领域中一个非常热门研究方向，其核心思想是把多路传感器的数据转换到统一的BEV空间中去提取特征，实现目标检测、地图构建等任务。如何把多路相机的数据从二维的图像视角转换到三维的BEV视角？LSS提出一种显示估计深度信息的方法，实现图像特征到BEV特征的转换，从而实现语义分割任务。

LSS是英伟达在ECCV2020上发表的文章《Lift, Splat, Shoot: Encoding Images from Arbitrary Camera Rigs by Implicitly Unprojecting to 3D》中提出的一个BEV感知算法，后续很多BEV感知算法如CaDDN、BEVDet都是在LSS的基础上实现的。本文将结合论文和代码详细解读LSS的原理。

1. 核心思想

作者提出一种新的端到端架构，该架构可以从任意数量的相机中直接提取给定图像数据场景中的鸟瞰图（<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LSS 讲解(1)：论文及代码介绍
@bangbang的博客
02-27 2489
1、LSS的方法提供了一个很好的融合到BEV视角下的方法。基于此方法，无论是动态目标检测，还是静态的道路结构认知，甚至是红绿灯检测，前车转向灯检测等等信息，都可以使用此方法提取到BEV特征下进行输出，极大地提高了自动驾驶感知框架的集成度。2、虽然LSS提出的初衷是为了融合多视角相机的特征，为“纯视觉”模型而服务。但是在实际应用中，此套方法完全兼容其他传感器的特征融合。如果你想融合超声波雷达特征也不是不可以试试。1、极度依赖Depth信息的准确性，且必须显示地提供Depth 特征。
BEV感知学习笔记——LSS
weixin_44368569的博客
01-11 4051
文章目录一、prologue二、Lift-Splat层原理2.1 Lift层2.2 Splat层三、LSS源码阅读3.1 准备工作3.2 推理部分3.1.1 参数配置3.1.2 compile_data()3.1.3 compile_model()3.1.3.1 get_geometry()3.1.3.2 get_cam_feats()3.1.3.3 voxel_pooling()3.3 训练部分 一、prologue 最近在学习BEV感知的内容，为了强化自己的学习效果，我会将自己的习得总结于此。（包含大量
BEV学习笔记之-LSS 手撕代码
最新发布
于小咸的博客
03-18 1029
LSS 总体思路蛮直观的，图像特征按照深度投影到 BEV 平面上，经过 pooling 操作得到 BEV feature先学习得到深度分布D 和 特征C，然后两者点积得到 DxC 维向量，比较巧妙cumsum_trick 虽然很巧妙，但是容易增加理解复杂度，这个技巧只是为了加速，本质上还是 sum pooling，不用这个技巧应该也能得到相同的效果下一篇，学习 BEVFormer。
（已开源）ECCV 2020 视觉BEV经典算法：LSS详解与代码
10点43的博客
03-06 6579
本文介绍一篇视觉BEV经典算法：LSS，论文收录于，本文通过显示的进行完成目标语义分割，重点是。
BEV感知（1）--BEV感知算法
NPU 研0
01-31 8315
BEV感知算法、BEV开源数据集、BEV感知方法，算法优缺点
BEV学习---LSS-2
qq_41920323的博客
09-10 1265
LSS原理及代码的第二次学习
BEV感知算法 | FastBEV论文解读
DeepDriving
07-18 1697
FastBEV在M2BEV的基础上对视图变换方法做了一些优化，加入BEVDet4D中的时序融合方法，是一个高性能、推理速度快、部署友好的BEV感知算法。在读FastBEVBEV感知算法 | LSS论文与代码详解BEV感知算法 | BEVDet系列算法论文解读BEV感知算法 | M2BEV论文解读。
BEV感知算法 | M2BEV论文解读
DeepDriving
07-17 1465
3D目标检测和BEV分割。传统的3D目标检测主要依赖于激光雷达输出的点云，但是使用激光雷达的成本比较高，另一个选择是使用多个相机的图像作为输入去实现车身周围360°的目标检测任务。BEV分割的目标是在BEV框架中对周围环境进行语义分割，比如可行驶区域和车道边界的分割。在一个统一的框架中去感知周围物体和环境的能力是自动驾驶车辆的核心要求，但是现有的基于相机的方法并不适合做360°多任务感知，M2BEV提出一种高效地将多个视角的2D。
BEV感知算法 | BEVDet系列论文解读
DeepDriving
07-04 2889
本文首发于公众号【DeepDriving】，欢迎关注。BEVDet系列算法是鉴智机器人开源的BEV感知算法，基于LSS提出的方法实现从图像空间到BEV空间的视图变换。本文将对该系列算法的论文加以解读，如果对LSS。
BEV的开山之作——LSS检测算法【Lift, Splat, Shoot】
weixin_45826522的博客
12-02 5544
【对D方向，也就是深度的每一个像素格进行加权】每一个采样点，都有对应的加权特征，有对应的几何深度，通过内外参将其投影到BEV视角下，得到BEV空间特征。求出camera坐标系的Zc后，依据坐标转换的矩阵公式，反解三维世界下的具体坐标，【Lift: Latent Depth Distribution】这样所有点就会汇聚为一个密集的三维集合，最后拍平则成为BEV feature【Splat：Pillar Pooling】：这种方法考虑了像素周围的16个像素，通过它们的加权平均值来计算下采样后的像素值。
BEV 之 LSS概要
MAX的专栏
07-10 496
显示估计图像下采样（16倍）后的特征点深度，将2D图像提升到3D空间，得到图像特征的视锥（点云）。
自动驾驶~BEV感知
whaosoft143ai的博客
12-29 697
写到这里了就再分享个自己觉得有趣的事情，那就是有一件看似很反直觉的事情，单从fusion bev的三个算法来看cmt明显性能不错，速度也可以，其次是bevfusion，最后是transfusion。点评：这是一篇没有开源的文章，和lss一样也是nvidia的工作，也是从2d到3d再投影到bev空间但由于假设沿射线的深度分布是均匀的，这意味着沿相机射线的所有体素都填充与2D空间中单个像素对应的相同特征，所以内存高效速度更快，单从文章看效果比lss要好，号称是第一个用统一框架同时做检测和分割任务的，但没开源。
LSS (Lift, Splat, Shoot) 论文阅读
人无远虑，必有近忧
03-17 1798
计算机视觉算法通常将图像作为输入，并输出与坐标系无关的预测——例如分类——或与输入图像在同一坐标系中的预测——例如目标检测、语义分割或全景分割。这种模式与开箱即用的自动驾驶中的感知算法模式不匹配。在自动驾驶中，将多个传感器作为输入，每个传感器具有不同的坐标系，感知模型最终的任务是在新的坐标系——自车（ego car）坐标系——中产生预测结果，以供下游路径规划器（Planner）使用，如图.2所示。有许多简单、实用的策略可以将单图像范式（paradigm）扩展到多视图场景。
LSS (Lift, Splat, Shoot)代码解析
AI人工智能的海洋
05-07 1490
LSS是一篇发表在ECCV 2020上有关自动驾驶感知方向的论文，具体子任务为object segmentation and map segmentation。论文和官方repo如下：论文：https://link.zhihu.com/?官方repo：https://link.zhihu.com/?目前在自动驾驶领域，比较火的一类研究方向是基于采集到的环视图像信息，去构建BEV视角下的特征完成自动驾驶感知的相关任务。所以如何准确的完成从相机视角向BEV视角下的转变就变得由为重要。
史上最全 | BEV感知算法综述（基于图像/Lidar/多模态数据的3D检测与分割任务）...
热门推荐
CV_Autobot的博客
08-09 3万+
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【BEV综述】获取论文！后台回复【ECCV2022】获取ECCV2022所有自动驾驶方向论文！1摘要以视觉为中心的俯视图（BEV）感知最近受到了广泛的关注，因其可以自然地呈现自然场景且对融合更友好。随着深度学习的快速发展，许多新颖的方法尝试解决以视觉为中心的BEV感知...
LSS (Lift, Splat, Shoot)论文精读
记录学习内容
07-06 2144
自动驾驶车辆的感知目标是从多个传感器中提取语义表示，并将这些表示融合到单一的“鸟瞰视图”坐标系中，供运动规划使用。我们提出了一种新的端到端架构，它可以直接从任意数量的相机图像数据中提取场景的鸟瞰视图表示。我们方法的核心思想是将每个图像单独“提升”到每个相机的特征锥体中，然后“涂抹”所有锥体到一个光栅化的鸟瞰视图网格中。通过在整个相机阵列上训练，我们提供了证据，表明我们的模型不仅能够学习如何表示图像，而且能够将所有相机的预测融合成一个单一的、凝聚的场景表示，同时对校准误差具有鲁棒性。
BEV视觉3D感知算法梳理
@bangbang的博客
01-03 5723
这部分的实现逻辑与传统的Transformer的Decoder的逻辑类似，利用Cross-Attention模块将生成的3D空间下的Object Query和具有3D空间位置的语义特征进行交互，得到Output Embedding，然后利用FFN网络充当3D检测头实现最终的3D检测结果。
自动驾驶BEV感知系列算法整理总结
slamer111的博客
04-18 7974
BEV自动驾驶感知系列整理
LSS-lift splat shoot论文与代码解读
weixin_41803339的博客
10-02 5900
LSS BEV
多传感器融合的BEV感知算法
12-14
根据引用[1]和引用，多传感器融合的BEV感知算法可以分为前融合和后融合两种方法。 前融合是指将多个传感器的数据在输入到深度学习模型之前进行融合，得到一个统一的输入。这种方法的优点是可以充分利用多个传感器的信息，提高感知精度。但是需要考虑传感器之间的异构性，需要进行数据校准和标定，且计算量较大。 后融合是指各传感器针对目标物体单独进行深度学习模型推理，从而各自输出带有传感器自身属性的结果，并在决策层进行融合。这种方法的优点是不同的传感器都独立进行目标识别，解耦性好，且各传感器可以互为冗余备份。但是后融合也有缺点，当各自传感器经过目标识别再进行融合时，中间损失了很多有效信息，影响了感知精度，而且最终的融合算法，仍然是一种基于规则的方法，要根据先验知识来设定传感器的置信度，局限性很明显。 因此，多传感器融合的BEV感知算法需要根据具体情况选择前融合或后融合方法，并进行数据校准和标定，以提高感知精度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DeepDriving

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值