Nerf是为什么？为什么在自动驾驶中如此重要？

最新推荐文章于 2025-06-06 15:19:08 发布

原创最新推荐文章于 2025-06-06 15:19:08 发布 · 1.5k 阅读

25 ·

CC 4.0 BY-SA版权

文章标签：

#自动驾驶 #人工智能 #机器学习 #NeRF #三维重建

神经辐射场（Neural Radiance Fields）自2020年被提出以来，相关论文数量呈指数增长，不但成为了三维重建的重要分支方向，也逐渐作为自动驾驶重要工具活跃在研究前沿。

三维重建是一个古老的课题，发展至今已经形成了较为成熟的管线。输入若干2D图像，用运动结构恢复（SfM，Structure from Motion）估计它们的相机位姿；已知相机位姿，可以用多视角几何（MVS，Multi-View Stereo）从二维恢复三维结构；如果需要实时且同步的相机追踪和地图建模，那就可以使用同步定位与建图（SLAM，Simultaneous Localization And Mapping）。这些传统pipeline用严格的几何约束和精确的方程运算构建起点云模型，从中生成mesh，贴上纹理，加入光追，力图使得模型的渲染贴近真实的输入。

COLMAP重建效果：

而NeRF之所以能够异军突起，正是因为它跳过了传统CV重建pipeline的特征点提取和匹配、对极几何与三角化、PnP加Bundle Adjustment等步骤，甚至跳过mesh的重建、贴图和光追，直接从2D输入图像学习一个辐射场，然后从辐射场输出逼近真实照片的渲染图像。也就是说，让一个基于神经网络的隐式三维模型，去拟合指定视角下的2D图像，并使其兼具新视角合成和能力。NeRF的照片级渲染能力为CV、CG，乃至影像界带来了重大变革，并且随着研究前沿的不断推进，NeRF已经开始展现其商业价值，其落地应用也如雨后春笋般涌现，例如基于NeRF的移动端重建应用Luma AI，能够从用户上传的一段视频中重建完整的真实的模型或者场景。

NeRF的发展也和自动驾驶息息相关，具体体现在真实的场景重建和自动驾驶仿真器的应用中。NeRF擅长呈现照片级别的图像渲染，因此用NeRF建模的街景能够为自动驾驶提供高真实感的训练数据；NeRF的地图可以编辑，将建筑、车辆、行人组合成各种现实中难以捕捉的corner case，能够用于检验感知、规划、避障等算法的性能。因此，NeRF作为一个三维重建的分支方向和建模工具，掌握NeRF已经成为了研究者们做重建或者自动驾驶方向必不可少的技能。

Unisim中的自动驾驶场景模拟：

如何学习？

NeRF是一个计算机视觉（CV）和计算机图形学（CG）相交叉的研究方向，因此学习NeRF需要同时从CV和CG入手。在CV这边，NeRF作为三维重建的一个分支方向，要求同学们熟悉三维视觉的基本概念（如相机模型、刚体位姿变换），以及必不可少的深度学习知识；在CG这边，NeRF的体密度、渲染、辐射场等基本概念都来源于传统CG渲染pipeline，也要求同学们有所涉猎。但是不必焦虑，NeRF在这些基本概念之上自成体系，无需深入研究CV和CG。因此有了基本知识储备之后，只需研读NeRF重要论文及其代码，并尝试复现一二，就能够具备NeRF研究的能力了。

这是一个非常重要但是又比较年轻的学科，许多小伙伴都想踏足这个领域，但是受限于入门较难，很难有效开展。为此，自动驾驶之心推出了首个Nerf论文带读课程，为大家梳理了11篇Nerf经典论文，从0到1为大家阐述nerf的来龙去脉，以及在自动驾驶方向上有哪些应用！