用BEVformer来卷自动驾驶-1

BEVFormer-accelerate:基于 EasyCV 加速 BEVFormer BEVFormer是一种纯视觉的自动驾驶感知算法,通过融合环视相机图像的空间和时序特征显式的生成具有强表征能力的BEV特征,并应用于下游3D检测、分割等任务,取得了SOTA的结果。 阅读详情

之所以是-1,是因为大概率1篇文章写不完,但是又不知道应该用几篇来说事,先写着看     

按照惯例,上论文地址:2203.17270v1.pdf (arxiv.org)

Image

      什么是BEV, Bird's -Eye-View的意思,就是鸟瞰

      比如稍微传统一些的自动驾驶,大部分的实现。如果靠纯CV的方案的话,那么基本上不管你做什么下游任务,物体检测也好,还是分割图像也好,就看到你眼前这一块,或者说摄像头里这一块视野,然后分别对自己摄像头里的任务产生的结果做决策

      鸟瞰就不一样了,让你能开上帝视角,参见特斯拉的那种行驶界面

Image

      如上图所示,中间的图才配称得上是鸟瞰图,它可以感知周遭的一切环境,无死角的感知,进而来实现最合理的驾驶action(和高精地图的方案是不一样的,高精地图只有对主观路况的呈现,记得是主观路况的呈现,而不是感知,同时如果不配合雷达或者其他的方案是无法对同一物理时间的周遭其他对象进行感知的)

       下面说它的实现方式

       

用BEVformer来卷自动驾驶-3 通过这个全连接层,你算出来4个绿色的点,这就立马不一样了,不但不用每个向量你都去求解(省时省力),而且,每个橙色的点,对应算出来的4个绿色的点,是不一样的(有针对性,其实是时序针对性,不过复杂对被框架给屏蔽了),这就是可变attention机制的由来。按照下图说,比如我要求橙色箭头上对应的这个点的特征,那如果我想求出这个点的特征,要和其他6个矩阵中的哪几个矩阵去做乘法呢(没错其实就可以简单理解成矩阵乘),如果我要全做,那这个框架等于没意义。但是我是不是非要和周围的4个点做呢,对我的检测意义大吗? 阅读详情

相关推荐

BEVFormer论文笔记(详细版)

这是一篇BEVFormer的论文阅读笔记。3D视觉感知任务对于自动驾驶系统至关重要,为此作者提出了BEVFormer。BEVFormer使用时空学习统一的BEV表示以支持多个自主驾驶感知任务。BEVFormer通过预定义的网格形状的BEV queries与空间和时间进行交互,从而利用空间和时间信息。为聚合空间信息,作者设计了一个空间交叉注意力,即每个BEV从摄相机视图中的感兴趣区域中提取空间特征。由于该模型结合了时序信息,所以对于速度估计和被遮挡物体的识别问题都有很大改善,性能远超其他基于相机的模型。

weixin_62497890的博客 4613

用BEVformer来卷自动驾驶-2

比如针对左上角视角的摄像头a。比如上图看2维空间的一个自西向东行驶的汽车,它的座舱位置在T-1时刻和T1时刻是覆盖在不同的像素点之下的,T-1时刻座舱玻璃是绿色的像素点,T时刻是粉丝的像素点,我们要开启BEV上帝视角,就自然要设定一个偏移量,比如T-1到T时刻,座舱的像素点取数据要在X轴上加a。又或者你拿着这些做分割或者其他的下游任务,那也是手到擒来了,现在的主流本来就是同一个共享的特征空间,不同的下游任务,愿意做啥做啥,打个比方就好像打游戏时候别人还在新手村探索地图,而你已经开挂了,知道所有藏宝的位置。

周博洋的博客 986

【传知代码】BEVFormer详细复现方案(论文复现)

本文介绍了一种新的框架——BEVFormer,用于学习具有时空Transformer的统一BEV表征,以支持多个自动驾驶感知任务。BEVFormer利用空间和时间信息,通过预定的网格状BEV查询向量与空间和时间域交互。为了聚合空间信息,作者设计了一个空间交叉注意力,每个BEV查询向量从跨相机视图的感兴趣区域提取空间特征。对于时间信息,作者提出了一种时间自注意力来递归融合历史BEV信息。

ztK63LrD的博客 4417

BEVFormer论文解读

相比于雷达点云,相机部署成本低,能够识别远距离物体与基于视觉的路面元素如交通灯等。相比于单目框架,BEV视图提供了对整体场景的表示,并且能很好地反映物体的尺度与位置信息。此外,BEV空间能够作为一个理想的中介来联系时空间,时间信息能够帮助我们推理物体的运动状态以及识别被遮挡的物体,而在自动驾驶任务中,物体变化速度快且实时性要求高,简单堆叠多帧BEV特征不是最优的。

butterflies_的博客 1070

自动驾驶---感知模型之BEVFormer

BEVFormer是一种基于鸟瞰图(BEV)视角的Transformer架构,用于解决自动驾驶感知任务的挑战。它通过多传感器编码器处理摄像头和激光雷达数据,利用BEV查询向量作为桥梁,结合时空交叉注意力机制实现多视角特征融合。该模型包含ResNet骨干网络、核心的时空注意力模块以及多种任务头(如目标检测、占用网格预测等),能够有效处理遮挡问题并提供全局场景理解。尽管效果显著,BEVFormer仍面临计算复杂度高、数据依赖性强等挑战。该模型为自动驾驶的感知、预测和规划任务提供了创新的解决方案框架。

智能汽车人的博客 1678

创客学院嵌入式驱动开发——学习资料汇总

1.创客学院知识巩固-01C语言回顾_C/C++_Set_Mode的博客-优快云博客https://blog.youkuaiyun.com/Set_Mode/article/details/94431050 2.创客学院知识巩固-02数据结构_Set_Mode的博客-优快云博客https://blog.youkuaiyun.com/Set_Mode/article/details/94431087 3.创客学院知...

snaking616 5116

Hopfield神经网络(HNN)详解

Hopfield神经网络是一种比较特殊的网络,它不像一般的神经网络那样有输入层和输出层,并且通过训练来改变神经网络中的参数,最终实现预测、识别等功能。Hopfield网络只有一群神经元节点,所有节点之间相互连接,形式如下: 虽然有些文章会画出像深度神经网络那样有输入输出的图,并且输出后又返回输入,但本质上就是多个节点之间的全连接,也就是上面的图形。Hopfield神经网络主要有两个应用:一是起到类似储存器的作用,也就是我们把多个序列或图片输入这个网络,最终这个网络会以神经元之间连接权重的形式储存这

weixin_60737527的博客 4万+

如何制作DOS启动盘 U盘制作DOS启动盘 HP-U盘启动DOS7 详细步骤教程 Intel网卡使用软件 bootutil lanconfig eeupdate Intel网卡修改MAC地址教程

制作DOS启动盘不是一项复杂的任务,只要按照以下简单的步骤进行操作,您就可以自己动手制作一个DOS启动盘。

lcy524514826的博客 896

基于立创EDA的IP5389BZ+IP6829 100W有线15W无线带屏充电宝DIY全流程解析

本文详细解析了基于立创EDA平台,采用IP5389BZ和IP6829芯片DIY一款100W有线快充、15W无线充电并带显示屏的移动电源的全过程。内容涵盖核心功能规划、硬件选型、电路设计、PCB布局、焊接组装、分步调试以及软件逻辑,为电子爱好者提供了一份从原理到实践的完整指南,并重点强调了电池安全与IP6829供电电压等关键注意事项。

weixin_34374684的博客 306

VS2015+C++实战:手把手教你用海康MVS里的Demo搞定多相机同步采图与保存

本文详细解析了在VS2015+C++环境下,利用海康威视MVS工业相机SDK实现多相机同步采图与保存的全流程。从环境准备、SDK选择到多相机初始化、同步采图方案,再到异常处理与性能优化,提供了实战技巧和代码示例,帮助开发者快速掌握工业相机二次开发的核心技术。

weixin_29170327的博客 280

别再乱改grub.cfg了!手把手教你用GRUB2自定义多系统启动菜单(含UEFI/BIOS双模式配置)

本文详细介绍了如何安全、高效地使用GRUB2自定义多系统启动菜单,涵盖UEFI/BIOS双模式配置。通过避免直接编辑grub.cfg文件,采用正确的配置方法和命令,帮助用户打造稳定且美观的启动环境,特别适合Linux多系统用户和开发者。

weixin_42553471的博客 590

【软考高项论文】论信息系统项目管理的干系人绩效域

例如,在处理与电信运营商合作铺设光纤网络的问题时,考虑到其在通信设施建设和运维方面的专业性和重要性,我们将之定位为高权力高利益的干系人,给予了高度关注和优先沟通。项目全程,我们对干系人绩效域的执行效果进行了定期检查和评估,通过定量与定性的数据收集,确认了项目在干系人管理上的成效,具体表现为:建立了稳固的工作关系网络,使干系人普遍认可项目目标;鉴于本项目牵涉到政府各级部门、企事业单位、市民团体、技术研发伙伴等多种类型的干系人,且干系人的诉求和影响力各异,因此,有序且持续的干系人参与管理显得尤为关键。

Programming Talk 1681

YOLOv11改进策略【Neck】| 替换RT-DETR中的CCFF跨尺度特征融合颈部结构,优化计算瓶颈与冗余问题

RT-DETR中的CCFF模块用于优化多尺度特征融合,解决传统方法的计算瓶颈与冗余问题,提升模型速度与精度,以适应实时检测需求。

Limiiiing的博客 1830

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

上一篇: RLAIF方法与传说中的函数‘Q‘,揭露OpenAI那不为人知的Qstar计划
下一篇: Q-star计划的更多细节
周博洋K
博客等级 码龄9年 2005粉丝 156原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值