谈谈量产！自动驾驶的模型部署有哪些绕不开的点？

随着特斯拉在AI Day上提出BEV概念，国内外以BEV 为技术栈的感知框架越来越受到大家的认可，这两年几乎离不开BEV这个关键词。站在上帝的视角，BEV非常适合自动驾驶任务，从最初的BEVDet检测方案，到后面BEVFormer、BEVFusion、MapTR、Occupancy等各个任务模型，几乎都以此为基线。

目前工业界的自动驾驶技术路线大多围绕三个主要任务展开：3D目标检测、车道线检测、非常规障碍物检测。

3D目标检测任务是动态障碍物和部分静态障碍物的主要感知方法，行业主流的BEV路线有LSS方案和BEVFormer系列的Cross-Attention方案。其中LSS更适用于轻量级模型部署到中低端芯片上，而BEVFormer系列在orin这类主流大算力平台上更有优势。无论是行车任务还是泊车任务，各大自动驾驶公司基本都以BEV检测为主要路线。如何部署纯视觉BEV-OD方案？如何部署BEVFusion这类融合方案？如何解决量化掉点问题？不仅仅是小白难受，很多老鸟也EMO......

车道线检测任务在许多自动驾驶功能中起到非常重要的作用，自适应巡航（ACC）、车道保持辅助（LKA）、车道偏离预警（LDW）等功能是核心功能，还有更高阶的自动拨杆变道功能、城市NOA无图方案，它们都离不开车道线检测任务。如何判断自车和他车行驶状态？如何预警？如何自动规划车辆行驶路线等等，都需要车道线的感知结果，但车道线模型的优化、部署与后处理也极其麻烦。

Occupancy Network的出现对解决长尾问题提出了一个很好的方案。像截断目标、形状不规则、未有清晰语义的目标（比如挂车、树木、垃圾、以及石子等），传统的3D检测无法解决全部。那么是否可以直接对环境建模，表达为占据栅格的形式呢？不过度区分语义、更关注是否占用，答案是肯定的。BEV模型和Occupancy有较多相似之处，BEV的特征生成范式几乎和Occ完全相同，时序方法也完全适用。Occupancy networks本身即具有voxel级别高精度的环境表示能力和function space的高效表示方法，这也是目前主流自动驾驶公司与主机厂争先落地的方案。解决3D检测留下的1%问题，完成动态静态障碍物感知的闭环。但Occupancy任务比较特殊，数据生成和部署都很让人头大。

无论是重感知，轻地图的路线，还是目前大家追捧的无图方案，都离不开BEV 技术中的障碍物检测/车道线检测与Occupancy三个技术模块，可以说这三个方向撑起了整个量产方案！

算法难！部署落地更难？

面向BEV感知的算法优化本身就不简单，如何将模型从0到1完整部署起来，不掉点能上车就更难上加难了。不仅仅是小白，也难倒了一大批有算法工程经验的老鸟。为了解决BEV模型落地与量化问题，自动驾驶之心联合业内专家推出了国内第一门面向自动驾驶模型部署的教程，死磕BEV检测、BEV车道线、Occupancy三项任务的模型部署与量化。

6.10正式开课，早鸟88折优惠！

以Pytorch、C++和TensorRT为主要开发语言，手把手教学。后期更有BEV跟踪任务、BEV自动标注任务的讲解，助力模型上车和量产开发，课程大纲如下：

这是自动驾驶之心首次将BEV感知的障碍物，车道线，Occupancy 三大方向统一在一个课程里面。

关于3D检测任务，将给大家讲述经典的BEV 障碍物网络的训练和部署，以及基于BEV 障碍物的跟踪方案；

关于车道线任务，将给大家讲述BEV 车道线相比于2D 车道线的优缺点，以及BEV 车道线网络的训练和部署；

关于Occupancy任务，将给大家带来面向量产的Occupancy的优化网络的训练和部署。

以及面对量产时，如何针对网络进行量化加速，如何通过自动化标注来解决大规模BEV 数据生成的问题。最后我们将带领大家一起设计出一个多任务BEV 网络。

BEVFusion 后处理解读与部署可视化：

FastBEV模块图、部署与可视化：

ONNX模型展示：

主讲老师

小庄，某top自动驾驶公司资深算法工程师，主攻BEV视觉感知方向，发表多篇顶会论文，在ICCV/CVPR workshop 中取得多项冠军，在自动驾驶领域有丰富的科研和量产落地经验。

课程亮点

1）目前国内最系统/最全面的部署课程，面向量产级；

2）涵盖了自动驾驶的3大主流任务模型的部署，全栈的技术分享；

3）掌握目前大火的BEV跟踪方案，无论是单帧或是多帧都能轻松应对；

4）完整的Torch转ONNX，ONNX转TRT流程，举一反三；

5）学会解决BEV量化掉点问题，助力模型上车；

6）通过C++部署TRT模型，对常见的后处理与主流部署框架有着较深的理解；

7）各大自动驾驶公司都认可的部署方案，无论实习/校招/社招都具有很大优势；

8）良好的自动驾驶学习圈子，一起交流踩过的坑和面试遇到的题目；

面向人群

1）所有自动驾驶感知方向的本科/硕士/博士群体，面向简历的项目，助力面试；

2）所有自动驾驶领域的算法开发人员，希望能够应用到实际工作中的同学；

3）想要转到自动驾驶部署与开发的同学；

需要具备哪些基础？

1）一定的BEV感知算法基础，对检测、车道线、Occ任务有一定了解；

2）熟悉Pytorch和C++，有一定的开发基础；

3）一定的线性代数和矩阵论基础

4）对自动驾驶行业有着充分的自信与热情；

扫码咨询

6.10正式开课，早鸟88折优惠！

欢迎咨询小助理了解更多！

版权声明

自动驾驶之心所有课程最终版权均归自动驾驶之心团队及旗下公司所属，我们强烈谴责非法盗录行为，对违法行为将第一时间寄出律师函。也欢迎同学们监督举报，对热心监督举报的同学，我们将予以重报！

投诉微信：AIDriver004(备注：盗版举报)