世界上第一个开源的NeRF自动驾驶仿真器！（清华、港科大等）

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

>>点击进入→自动驾驶之心【NeRF】技术交流群

论文作者 | 汽车人

编辑 | 自动驾驶之心

“

论文题目：MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving
开源地址：https://open-air-sun.github.io/mars/
作者单位：作者单位：清华大学，香港科技大学，麦吉尔大学等

”

如今，自动驾驶汽车在普通情况下可以平稳行驶，人们普遍认为，逼真的传感器仿真将在解决剩余corner case情况方面发挥关键作用。为此，作者提出了一种基于神经辐射场的自动驾驶仿真器。与现有工作相比，作者的工作有三个显著特点：（1）实例意识。作者的仿真器用独立的网络分别仿真前台实例和后台环境，以便可以分别控制实例的静态（例如大小和外观）和动态（例如轨迹）属性。（2） 模块化。作者的仿真器允许在不同的现代NeRF相关主干、采样策略、输入模式等之间灵活切换。希望这种模块化设计能促进基于NeRF的自动驾驶仿真的学术进步和工业部署。（3） 现实。作者的仿真器设置了新的最先进的照片现实主义的结果给出了最佳的模块选择。作者的仿真器将是开源的，而大多数同行不是。

主要贡献

本文的核心贡献是第一个基于NeRF的开源模块化框架，用于逼真的自动驾驶模拟。所提出的流水线以分解的方式对前景实例和背景环境进行建模。不同的NeRF主干架构和采样方法以统一的方式结合在一起，支持多模式输入。所提出的框架的最佳模块组合在公共基准上以较大的裕度实现了最先进的渲染性能，表明了逼真的模拟结果。

网络结构

如图1所示，本文的目标是为构建合成神经辐射场提供一个模块化框架，其中可以对户外驾驶场景进行逼真的传感器模拟。考虑了一个具有大量动态目标的大型无边界室外环境。

该框架对每个前景实例和背景节点进行合成建模。如图1所示，当查询给定光线r的属性（RGB、深度、语义等）时，我们首先计算其与所有可见对象的3D边界框的交点，以获得进入和离开距离[,]。然后，查询背景节点（图1左上）和前景对象节点（图1左下），其中每个节点对一组3D点进行采样，并使用其特定的神经表示网络来获得点属性（RGB、密度、语义等），我们根据目标轨迹将世界空间的光线原点和方向转换为实例帧。最后合成来自背景和前景节点的所有光线样本，并对其进行体积渲染，以产生逐像素渲染结果

实验结果

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！