当我们在谈感知的时候，究竟在说哪些内容？

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『BEV感知』技术交流群

当我们谈到感知究竟在谈什么？从早期的2.5D到单目3D，再到多目3D等等，感知一直在往鲁棒、适配下游的方向靠拢。目前通用的感知子方向有：BEV检测、单目3D检测、点云3D检测、多模态3D检测、车道线检测、Occupancy、3D/4D雷达感知、在线高精地图、轨迹预测、端到端等。

这里我们又可以分为几大类：动态障碍物感知、静态障碍物感知、预测任务、端到端任务等，如果您对这几类感知任务有兴趣，也欢迎关注自动驾驶之心的教程！

五一少量88折优惠券，扫码领取

1）动态障碍物感知

动态障碍物感知的方案主要有单目方案、多目方案、多模态方案！其中多模态方案又包括毫米波雷达视觉融合、激光雷达视觉融合等。

目前工业界量产较多的方案有单目感知（低成本方案）、多目BEV感知（orin或J5等高阶方案），以及面向L4的点云视觉方案。视觉方案成本低，视觉特征丰富，几乎成为了每个量产车型的标配。但是受到相机参数、天气、照明影响较大，雨天、雾天、夜晚等场景下几乎失效。

基于RV和LV的融合感知方案能在视觉任务失效的同时，做近大可能的弥补，目前3D毫米波雷达/4D毫米波雷达/激光雷达是主要传感器，也被大多数自动驾驶公司量产采用。无论是RV、LV在特征级上的融合感知，还是后处理融合，都能大幅提升系统的整体效果。

而基于占用栅格网络的障碍物感知，则能进一步解决上述感知无法处理的非常规障碍物，比如挂车、树木、垃圾、以及石子等！也是今年各家自动驾驶公司争先量产的方案。

2）静态障碍物检测

静态障碍物检测在自动驾驶领域，一般指的是车道线检测和禁停标志、静止障碍物的检测。车道线检测方法主要包括2D车道线检测、单目3D车道线检测、多目3D车道线检测、在线地图等。被广泛应用到自适应巡航（ACC）、车道保持辅助（LKA）、车道偏离预警（LDW）等功能是核心功能，还有更高阶的自动拨杆变道功能、城市NOA无图方案。

相比于车道线检测任务，目前大火的在线地图更能输出道路的拓扑关系，脱离传统高精地图方案，成为目前各家公司量产的主要技术。

除此之外，检测和Occupancy任务也承担了部分的禁停标志、通用障碍物（比如栏杆、石墩）的检测功能。

3）预测任务

何为轨迹预测？自动驾驶轨迹预测是指通过分析车辆行驶过程中的各种数据，预测车辆未来的行驶轨迹。作为自动驾驶的核心模块，轨迹预测的质量对于下游的规划控制至关重要。通过预测车辆的轨迹，智驾系统可以提前识别潜在的危险情况，如避免与其他车辆或障碍物的碰撞，避免突发状况的发生等。同时，预测轨迹还可以帮助系统规划最佳的行驶路线，提高行驶效率和舒适性。

4）端到端任务

上述的所有任务其实本质上是自动驾驶系统的子模块，如果想要形成一个完整的功能，需要感知、融合、定位、规划等多个模块协作。模块与模块之间解耦，需要独立的优化训练，流程繁琐。端到端任务的出现，是期望从数据输入（比如多目数据、点云数据等）直接生成下游可用的规划指令。多个任务进行耦合，解决繁琐的优化问题，也是24年各家自动驾驶公司争先落地的方案，期待！

5）写在最后

如果您对上述的感知技术很感兴趣，也欢迎学习我们的课程：

五一少量88折优惠券，扫码领取

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！

自动驾驶感知：目标检测、语义分割、BEV感知、毫米波雷达视觉融合、激光视觉融合、车道线检测、目标跟踪、Occupancy、深度估计、transformer、大模型、在线地图、点云处理、模型部署、CUDA加速等技术交流群；

多传感器标定：相机在线/离线标定、Lidar-Camera标定、Camera-Radar标定、Camera-IMU标定、多传感器时空同步等技术交流群；

多传感器融合：多传感器后融合技术交流群；

规划控制与预测：规划控制、轨迹预测、避障等技术交流群；

定位建图：视觉SLAM、激光SLAM、多传感器融合SLAM等技术交流群；

三维视觉：三维重建、NeRF、3D Gaussian Splatting技术交流群；

自动驾驶仿真：Carla仿真、Autoware仿真等技术交流群；

自动驾驶开发：自动驾驶开发、ROS等技术交流群；

其它方向：自动标注与数据闭环、产品经理、硬件选型、求职面试、自动驾驶测试等技术交流群；

扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！