自动驾驶为什么需要Occupancy Network？

最新推荐文章于 2025-04-11 10:08:11 发布
转载 最新推荐文章于 2025-04-11 10:08:11 发布 · 806 阅读 · 2 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247566875&idx=2&sn=6846f9b5cca1ab5426081a37bff59e18&chksm=ceb9ebd2f9ce62c4f6e44a74c4c462c6a41bd9aa16094724ca257b01dfa064a59dd63f8f7a8b&scene=126&sessionid=0
文章标签：

#自动驾驶 #人工智能 #机器学习

2022年9月Tesla AI Day上Occupancy Network横空出世！迄今为止各种占用网络层出不穷，那么占用网络到底有哪些优势？又或者说我们为什么需要Occupancy Network呢？

业内普遍认为主要有以下几个原因：

  1. 能够得到3D占用的信息：相比于基于BEV的2D预测，多了高度方向上的信息。因此可以在同一xy坐标上对应多个z高度，更精细地预测占用信息，解决同一xy坐标上有多个物体的问题；

  2. 多模态信息的统一表示：从Infer角度，无论是Camera Lidar或者其他传感器，都能在BEV空间统一回归Occupancy信息；从AutoLabel角度，Camera Lidar甚至毫米波和超声波都能方便地转化成Occupancy；而从本质上理解，Occupancy如果把voxel size无限缩小，那就和点云是一种表示；

  3. 分离了语义和几何：Semantic和Geometry的解耦，让涉及到行车安全的Geometry训练和Semantic显式分离。也因为解耦了Semantic从而部分绕开了Open-set Detection的思路。

以上内容均出自《国内首个面向工业级的Occupancy占用网络全栈教程！》，同时汽车人也为大家准备了国庆超大八折优惠券，仅限今日名额有限！

d6eff45a18764d3ca229db6e2819d587.png

八折优惠仅限今日！扫码加入学习！

如何入门学习？

而目前国内还没有任何一套关于Occupancy Network的教程，导致无论工程界，抑或是学术界，都对这个领域比较陌生，不知道如何搭建自己的数据集和优化模型，为此，自动驾驶之心自研了国内首套Occupancy课程，从0到1为大家详细阐述占用栅格网络的数据生成、评测、可视化、训练加速、模型优化、后处理等方方面面。内容不仅适用学术界，更直接面向工业界，适合刚入门小白和企业算法工程人员，帮助大家快速入门，成为早期研究Occupancy Network的人员，大纲如下：

51d42f8a5e83a99c04853e366acdb9f9.png

课程采用T型结构，横向注重基础，纵向注重深度： 

第1~3部分注重Occupancy Networks的理论基础和完整实践，让学员快速打通由初识到训练到应用的全链路； 

第4部分进阶，深入理解多传感器前融合在Occupancy的应用； 

第5部分进阶，深入理解Occupancy的细分领域及优化和改进方向； 

第6部分前沿探索，探讨Occupancy的交叉领域和发展方向 课程全部资料来自公开内容的重构。

课程特色

•   由浅入深，循循渐进：从占用栅格最基础的概念到如何生成训练数据、BEV与Occ的关联、Occ损失函数、如何训练加速占用网络，以及各类网络实战、后处理解析，一应俱全，同时面向工业界和学术界；

•   小白友好：能够站在初学者的角度，从0到1为大家展开讲解，真正做到知其然，更知其所以然；

•   大量实战：项目实战和理论结合，针对可视化、指标评测、训练加速、后处理、真值数据生成以及各类网络代码详解，应有尽有；

•   学完达到1年感知算法工程师水平；

课件+代码，随时学习

好的学习方式，不仅仅只停留在算法理论上，实践出真知，要做到知行合一。课程为大家配套了一系列实战类代码，从数据读取、可视化、指标评测、到后面的训练加速、真值数据生成、Eigen矩阵计算、后处理、以及各类模型设计（SurroundOcc、FB-OCC等）展开了详细教学，彻底搞懂每一个知识点，少踩坑。

讲师介绍

思凯，就职于某头部自动驾驶公司，在自动驾驶和计算机视觉领域深耕多年，多项顶会比赛中拿到第一或前列，在自动驾驶感知算法领域积累了全面的技术洞察力和实践经验。

课程学后收获

  1. 对占用网络有一个非常完整的认识，从方法论到coding，真正能够理解这个领域的发展、应用、优化以及后面的方向；

  2. 能够将课程中的内容快速应用到科研工作与实际量产项目中，节省时间成本；

  3. 相比于其他行业从业者，更具有竞争力，同时也能够结识许多行业从业人员与学习合作伙伴！

  4. 学完达到1年感知算法工程师水平，成为早期研究Occupancy的科研/工程人员；

适合人群

  1. 计算机视觉与自动驾驶感知相关研究方向的本科/硕士/博士；

  2. CV与自动驾驶2D/3D感知相关算法工程人员；

  3. 量产和预研工作需要的同学，面向L2~L4级应用；

  4. 对计算机视觉有部分了解，具有一定的Python、Pytorch基础的小伙伴；

开课时间与学习方式

2023年10月15号开始学习之路，历经两个月，离线视频授课。主讲老师在微信学习群内答疑，对课程中的算法、代码、环境配置等问题一一解惑！

课程咨询与购买

a9c7aa10d877283e65246457562f6d80.png

八折优惠仅限今日！扫码加入学习！

00d9f7e995dfc6d7261d677341018351.jpeg

咨询小助理微信咨询：AIDriver004

版权声明

自动驾驶之心所有课程最终版权均归自动驾驶之心团队及旗下公司所属，我们强烈谴责非法盗录行为，对违法行为将第一时间寄出律师函。也欢迎同学们监督举报，对热心监督举报的同学，我们将予以重报！

投诉微信：AIDriver004(备注：盗版举报)

自动驾驶---Perception之Occupancy
智能汽车人的博客
07-08 5206
自动驾驶感知的OCC技术，即Occupancy Network（占用网络）技术，是自动驾驶领域中的一项重要技术，尤其在“纯视觉”自动驾驶方案中占据核心地位。（1）定义与原理定义：OCC技术是一种基于深度学习的三维重建方法，它以多视角相机为核心，生成Bird's Eye View（BEV，鸟瞰图）特征，并通过级联结构和时间体素解码器重建，生成3D占用特征。原理：OCC技术通过产生3D体素，并与3D重建体素（通常由Nerf离线训练得到）进行比较，实现感知识别。
为什么说自动驾驶领域没有人可以精通BEV和Occupancy？
计算机视觉工坊
05-31 354
BEV和OCC的算法需要能够从数据中提取有效特征2D和3D特征，解耦特征头，多种数据的特征的融合，时序信息的处理，并进行有效的建模和推理。学习 BEV 和 OCC 需要扎实的知识基础，包括：线性代数，微积分，概率论，深度学习，计算机视觉，ubuntu操作系统，C++，python，pytorch，矩阵论，阅读论文和博客得习惯。这其实是最重要的一点，举一反三，结合现有的资料，参考前沿的方向，提出对自己具有挑战性的话题，结合车道线，时序信息，三维重建，slam定位等技术提升自己模型的性能。
全面盘点 | 一文看尽Occupancy
CV_Autobot的博客
01-20 1381
作者|其道大光 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/675424447点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群本文只做学术分享，如有侵权，联系删文prologue照老样子先说为什么会写这篇文章，因为到目前我的分割大模型对实际部署的小模型并没有帮助。这让我有点郁闷，更郁闷的是后面蒸馏的环节...
自动驾驶落地过程中，BEV和Occupancy为何如此重要?
3D视觉工坊
03-01 753
自动驾驶领域中，什么是BEV？什么是Occupancy？BEV是Bird's Eye View 的缩写，意为鸟瞰视图。在自动驾驶领域，BEV 是指从车辆上方俯瞰的场景视图。BEV 图像可以提供车辆周围环境的完整视图，包括车辆前方、后方、两侧和顶部。BEV 图像可以通过多种方式生成，包括：使用激光雷达：激光雷达可以直接测量物体在三维空间中的位置，然后将这些数据转换为 BEV 图像。使用摄像头：摄像头...
Occupancy技术大火！国内首个面向工业级的Occupancy占用网络全栈教程
CV_Autobot的博客
02-23 3043
2022年9月的Tesla AI Day上，一种称之为Occupancy Network的占用模型突然出现到大家的视野中，轻语义重几何，更好地辅助自动驾驶系统感知Driverable space
Occupancy任务| 自动驾驶感知的最后一道护城河！
CV_Autobot的博客
04-28 3541
Occupancy Network是自动驾驶感知任务中的一个非常重要角色。这种轻语义重几何的网络模型，能够更好地辅助自动驾驶系统感知free space，也是今年各大自动驾驶公司抢先量产的目标。在3D目标检测失效的范围内，能够进一步提升感知能力，形成闭环。下面让我们一起看看Occupancy是什么？为什么需要它？为什么需要Occupancy？自动驾驶在动静态障碍物感知领域的发展大概分为三个阶段：1...
自动驾驶3D占用预测（Occupancy Prediction）算法调研
DeepDriving
08-08 2937
在自动驾驶感知任务中，传统的3D场景理解方法大多数都集中在3D目标检测上，难以描述任意形状和无限类别的真实世界物体。3D占用网络（）是特斯拉在2022年提出的一种新型感知网络，这种感知网络借鉴了机器人领域中的占用网格建图的思想，将感知环境以一种简单的形式进行在线3D重建。简单来说，就是将机器人周围的空间划分为一系列网格单元，然后定义哪个单元被占用，哪个单元是空闲的，通过预测3D空间中的占用概率来获得一种简单的3D空间表示，这样就可以更全面地实现3D场景感知。近期对最近几年自动驾驶领域中的3D。
精选资源
大模型应用下自动驾驶赛道将有哪些变化？
06-27
##### 1.3 占用网络模型（Occupancy Network Models）或成下一代自动驾驶算法进步方向 随着技术的发展，占用网络模型正逐渐成为自动驾驶领域的研究热点之一。这些模型能够更准确地估计车辆周围环境的空间占用情况，...
通俗解读：Occupancy Network与端到端架构
叫好与叫座虽然不是对立面，但想在同一个作品中达到双重效果很难。
03-11 957
传统Occupancy只标记障碍物位置，端到端模型还能预测障碍物运动趋势（比如行人下一秒会不会闯进车道）。像玩《我的世界》游戏，把世界切成小方块，车能“看到”每个方块是否被占据，哪怕是一堆形状乱七八糟的石头。端到端像老司机：眼睛看到路况，手脚直接反应。Occupancy让车“看清世界”，端到端让车“思考如何行动”，两者结合才能实现真正的自动驾驶。：从摄像头/雷达输入到方向盘/刹车输出，全交给一个“大脑”（AI模型）处理，省去中间步骤。：把周围环境切成小方块（体素），每个方块标注“有障碍物”或“没障碍物”。
国内首个占据栅格网络全栈课程《从BEV到Occupancy Network，算法原理与工程实践》源代码
迈微AI研习社 · 号主
08-16 1034
国内首个占据栅格网络全栈课程《从BEV到Occupancy Network，算法原理与工程实践》，包含端侧部署。
自动驾驶Occupancy梳理笔记（一）
学习记录
01-04 2584
尽可能用简单易懂的语言把occ的重要内容说明白
特斯拉自动驾驶中的 OccupancyNetworks & NeRFs
u010165147的博客
10-02 3078
Occupancy Networks去寻找Occupancy Volumes或Occupancy Grid，即三维空间中被物体占据的格点或空间，这个算法其实能很好的规避Corner Case问题 Neural Radiance Fields ，NeRFs 即神经辐射场，这个算法和Occupancy Grid一脉相承，都是在解决如何准确的建模我们所处的三维空间
特斯拉应用在自动驾驶汽车上的神经网络模型—Occupancy Networks
人工智能研究所的博客
10-02 6942
另外一个问题是，在计算机视觉领域，我们输出的检测模型都是使用一个标准的方方正正的矩形来表示，无论是汽车，人物，信号灯等，当计算机视觉系统检测完成后，总是按照一个矩形框来实时显示画面。CVPR会议上，每年都会有几十篇论文发布，来讲解新的对象检测算法，YOLO，Resnet等等，以及基于已有的算法的改进版本，但是所有的计算机视觉对象检测算法都是在已有的数据中进行训练与检测，若道路上面出现了数据集中未收录的数据样本，想想计算机视觉系统会检测出来什么，或者什么都不会提示，这在自动驾驶系统中是天大的bug。
万字长文谈自动驾驶occupancy感知
weixin_46214675的博客
12-31 6906
照老样子先说为什么会写这篇文章，因为到目前我的分割大模型对实际部署的小模型并没有帮助。这让我有点郁闷，更郁闷的是后面蒸馏的环节目前也不是我在做，照理直接拿推理结果当hard label来搞也不是不可以吧。卡不够我的大模型还在训，等训完想自己上手搞一搞蒸馏，我还就不信了学不好！所以这段时间就写一写看过的paper了，看Bev的时候occupancy相关的有些文章也顺便看了，写一写挺好的。ok，那第一个，为什么自动驾驶感知都已经有bev了，又出来了occupancy(占用网格）？ 这是2022年特斯拉提出来的一
最新最全总结！自动驾驶Occupancy感知综述：信息融合视角
3D视觉工坊
05-13 765
点击下方卡片，关注「3D视觉工坊」公众号选择星标，干货第一时间送达来源：3D视觉工坊添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫...
【Occ感知】自动驾驶 Occupany network占用预测网络
热门推荐
一个普通的算法牛马
07-19 1万+
现在自动驾驶中的 Occupany network 到底是什么呢？为什么在如今的自动驾驶的感知算法中显得如此重要？它的优势是什么？Occupany network 与3D目标检测有什么区别？Occupany network 与3D语义分割有什么区别？
【端到端】端到端自动驾驶依赖Occupancy进行运动规划？还是可以具有生成局部地图来规划？
Hali_Botebie的博客
04-11 525
Occupancy 是越来越被当作“可通行空间”表示，用于运动规划的一个核心输入；但生成结构化的局部地图用于规划仍然是目前更稳定可控的工程路线。
自动驾驶One Model的趋势下，占用网络的必要性到底体现在哪里？
CV_Autobot的博客
01-16 545
近年，特斯拉AI研发热火朝天，从BEV到Occupancy Network，深耕自动驾驶和机器人领域，掀起了感知算法的范式革命，也激发了工业和学术界，不断推进相关研究迭代，在CVPR 2023中表现亮眼，不仅最佳论文有所涉及，同时，英伟达提出的新方法VoxFormer，因极大提升了机器对场景的理解和认知，获得了广泛关注和收录。VoxFormer作为占用网络新方法，是一种基于Transformer的...
汽车科技属于自动驾驶的什么类别
最新发布
04-18
<think>嗯，用户现在想了解汽车科技在自动驾驶中的分类，以及汽车科技属于哪个类别。首先，我需要回顾之前的对话，确保回答的一致性。之前的回答中，我详细讨论了旋转误差的分类，涉及感知、定位、控制等环节。现在用户的问题转向更广泛的汽车科技分类，可能需要从技术体系或功能模块的角度来划分。 首先，用户提供的引用资料里有提到自动驾驶的决策过程、数据标注、汽车芯片、深度学习的应用等。根据引用[1]，自动驾驶分为技术发展三类，但具体是哪些三类没有详细说明。引用[4]提到了汽车芯片的国产替代，属于硬件部分。引用[5]指出深度学习在感知、决策、控制中的作用，这属于软件算法层面。引用[2]和[3]涉及系统集成和数据标注，可能属于系统实现和数据处理部分。 接下来，我需要将汽车科技在自动驾驶中的分类结构化。通常，自动驾驶技术可以分为硬件层、软件层、系统集成层。汽车科技可能涵盖这些层面，但用户的问题更偏向于技术分类，可能需要更细致的划分。比如，硬件包括传感器、芯片、执行器；软件包括感知算法、决策规划、控制算法；系统集成包括整车架构、通信网络等。 另外，用户之前的回答中提到了感知、定位、控制等环节，这也可以作为分类的一个维度。结合引用[5]中的感知、决策、控制，可能将汽车科技分为感知技术、决策技术、控制技术，再加上硬件支撑和系统集成。 需要注意的是，用户可能希望了解汽车科技在整个自动驾驶系统中的位置，而不仅仅是功能模块。因此，分类可能需要涵盖技术基础、核心功能模块、支撑体系等。例如，引用[4]中的汽车芯片属于硬件支撑，引用[5]中的深度学习算法属于软件核心，引用[2]中的系统搭建属于系统集成。 可能的分类结构如下： 1. 硬件支撑技术：传感器、芯片、执行机构 2. 软件核心算法：感知、决策、控制 3. 系统集成技术：整车架构、通信、OTA 4. 数据与标注技术：数据采集、标注、仿真 5. 安全与标准体系：功能安全、法规、测试 这样分类能全面覆盖汽车科技的各个方面，同时结合用户提供的引用内容。需要确认每个类别下的具体技术，例如硬件中的激光雷达、毫米波雷达（引用[3]的车道线标注属于感知数据），芯片（引用[4]），执行器如转向和制动（引用之前的控制层旋转误差）。软件部分对应引用[5]的感知、决策、控制。系统集成涉及引用[2]的搭建自动驾驶小车，数据标注来自引用[3]。安全标准可能引用之前的SOTIF框架。 最后，用户的问题可能希望明确汽车科技属于哪个类别，但汽车科技本身是一个综合领域，涵盖多个类别。因此，回答需要说明汽车科技不是单一类别，而是贯穿整个自动驾驶系统的多个技术层面，并详细分类说明。同时，参考用户之前的回答结构，使用分点、表格等形式，确保清晰。</think>基于技术架构和应用层级划分，**汽车科技在自动驾驶中属于核心技术支撑体系**，贯穿硬件基础、算法实现到系统集成全链条。以下是结合技术演进和产业实践的详细分类（参考引用[1][4][5]内容）： --- ### **一、按技术层级分类** #### 1. **硬件基础层** | **技术类别** | **核心组件** | **功能定位** | **产业现状**（引用[4]） | |--------------------|----------------------------------|----------------------------------|----------------------------------| | **感知硬件** | 激光雷达、毫米波雷达、摄像头 | 环境信息原始数据采集 | 国产激光雷达市占率突破30%（2023） | | **计算硬件** | 域控制器、AI加速芯片 | 算法实时运算载体 | 国产车规芯片自主率不足5% | | **执行硬件** | 线控转向/制动系统 | 控制指令物理执行 | 博世/大陆等外资占据80%市场份额 | #### 2. **算法软件层** - **感知算法** 使用深度学习实现目标检测（如YOLOv7）、语义分割（如BEVFormer[^1]），引用[5]中车道线标注数据直接支撑该层训练 $$ \text{检测精度} = \frac{TP}{TP+FP+FN} \quad (需达99.5\% \text{以上}) $$ - **决策规划** 融合强化学习（如DQN）与规则引擎，处理场景如无保护左转： ```python def decision_making(obs): if obs.traffic_light == 'green' and obs.collision_risk < 0.1: return 'proceed' else: return 'yield' ``` - **控制算法** 采用模型预测控制（MPC）实现路径跟踪，关键参数包括横向误差补偿率（引用[1]中的技术分类关联） #### 3. **系统集成层** - **整车电子架构**：从分布式ECU向集中式域控制演进（如特斯拉HW4.0） - **通信协议**：CAN FD总线保障控制指令≤2ms延迟（自动驾驶L3级硬需求） - **OTA升级**：实现算法模型在线迭代（如小鹏XNGP年度大版本更新） --- ### **二、按功能实现分类** 1. **环境感知技术** - **多模态融合**：激光雷达点云（引用[3]车道线标注数据用途）与视觉BEV特征融合 - **动态建模**：使用Occupancy Network预测障碍物运动趋势 2. **定位与建图** - **高精地图**：厘米级精度要求（与引用[1]中BEV建图技术关联） - **SLAM增强**：紧耦合IMU与视觉里程计，位置误差<0.1m/100m 3. **人机交互技术** - **驾驶员监控**：基于引用[3]人脸标注技术实现疲劳检测 - **语音控制**：车载ASR模型词错率需<2%（行业标杆水平） --- ### **三、关键技术发展对比** | **技术方向** | **传统方案** | **创新突破**（引用[5]） | **性能提升** | |--------------------|----------------------------|---------------------------------|---------------------| | **目标检测** | 基于规则的图像处理 | Transformer+BEV联合感知架构 | mAP提升23% | | **路径规划** | A*算法 | 深度强化学习（PPO算法） | 复杂场景决策速度提升5倍 | | **控制执行** | PID控制 | 模型预测控制（MPC） | 横向跟踪误差降低40% | --- ### **四、产业应用现状** 1. **乘用车领域** - L2+级渗透率超30%（2023年数据），典型配置包括： - 5R1V传感器组合（5雷达+1摄像头） - 算力≥50TOPS的域控制器 2. **商用车领域** - 港口/矿区自动驾驶已实现L4级商业化，依赖： - 多线激光雷达（如禾赛AT128） - 高可靠V2X通信（时延≤10ms） 3. **技术瓶颈**（引用[4]关联） - 车规芯片耐温需达-40℃~125℃（消费级芯片无法满足） - 功能安全需满足ISO 26262 ASIL-D等级 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值