多相机BEV感知表达

参考 https://mp.weixin.qq.com/s/CDLSSzlznPKMnxeo9VqmZA

        基于纯视觉/图像信息      相机传感器可以很好的捕捉图像中物体包含的丰富的色彩和纹理信息;但由于图像成像过程中的限制,得到的2D图像无法保留物体在深度方向的信息;

        基于纯激光雷达信息     激光雷达传感器可以提供物体准确的深度信息以及结构信息;但激光雷达传感器提供物体信息的距离比较有限,同时其获得的点云数据与相机传感器采集到的图像信息相比更加稀疏;

        基于多种传感器信息融合 毫米波雷达传感器采集到的数据相比于激光雷达传感器获取的数据更加稀疏;但其获取的物体信息范围相较于激光雷达传感器更远,同时可以更好的采集运动物体的信息;

        基于BEV空间实现感知任务的优势: 在各类算法模型得到BEV空间特征后,可以基于获得的BEV特征实现3D目标检测、车道线检测、地图语义分割等不同的感知任务,而且不同任务的感知结果可以很自然的应用到自动驾驶的后续模块(如:规划和控制);

在BEV空间下,可以非常方便的将不同视角、不同时间序列(帧)、不同模态(传感器)的特征信息进行融合,输出更加准确的BEV空间特征,从而更好地实现自动驾驶感知任务; 相较于基于其他视角的纯视觉感知方法,基于BEV空间的感知算法以俯视的角度去实现感知任务,可以比较好的缓解不同物体间的遮挡问题

1. BEVFormer

1) 按照BEVFormer github的指导先后安装和编译​ mmdetection3d-0.17.1和BEVFormer

conda create -n BEVFormer python=3.8

2)下载数据集nuScenes

数据集full nuScenes v1.0:包含1000个场景。由于数据集的巨大规模,分别提供了mini、训练验证集。Mini(10个场景)是用于探索数据而无需下载整个数据集的trainval的子集。Trainval(70

### BEV空间坐标的定义与应用 #### BEV空间坐标的定义 BEV(Bird's Eye View)即鸟瞰图,是一种将三维世界投影到二维平面上的表示方式。在自动驾驶领域,BEV通常用于描述车辆周围的环境,其核心在于将地面平面映射为一个二维坐标系[^3]。具体来说: - **原点位置**:一般设定在自车中心或摄像头/传感器的位置。 - **轴向定义**:X轴通常指向正前方,Y轴垂直于前进方向(通常是左侧为正),Z轴则代表高度方向,在BEV中常被忽略。 - **单位选择**:常用米作为距离单位。 这种坐标系的优势在于能够清晰表达水平面上的目标分布情况,适合处理静态道路元素如车道线、路缘石等。 #### BEV空间的应用 BEV视图广泛应用于自动驾驶系统的多个模块之中,特别是在感知阶段起到重要作用: 1. **障碍物检测与跟踪** 利用BEV可以实现对道路上行人、其他车辆以及其他动态对象的有效监测。相比传统RGB图像,它能更好地捕捉目标的空间布局关系[^2]。 2. **路径规划** 基于精确构建出来的BEV地图信息,算法可制定合理可行的安全行车路线。例如避开拥堵区域或者危险路段等操作都依赖于此种形式的地图支持[^1]。 3. **语义分割** 对整个场景按照类别进行划分标注工作也离不开高质量的BEV呈现效果。通过训练好的模型可以直接输出每一点所属的具体种类标签(比如草地,建筑物等等),从而帮助理解复杂的城市交通状况。 4. **多传感器数据融合** 当前主流方案往往结合来自相机、毫米波雷达甚至LiDAR等多种异构传感设备采集回来的数据共同完成最终决策过程。此时统一转换至相同的参考框架下就显得尤为重要了;而标准化后的BEV正好满足这一需求。 ```python import numpy as np def convert_to_bev(points_3d): """ 将3D点云转化为BEV坐标 参数: points_3d (numpy.ndarray): 输入的3D点集,形状为(N, 3) 返回: numpy.ndarray: 转化后的BEV坐标,形状为(N, 2) """ bev_points = points_3d[:, :2] # 取XY平面部分 return bev_points ``` 此函数展示了如何简单地从原始3D点集中提取出对应的BEV表示方法。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值