READ-自动驾驶大场景神经渲染

这是一个针对自动驾驶场景的神经渲染方案，提出了一种大规模神经渲染方法来合成自动驾驶场景（READ），这使得通过各种采样方案在PC上合成大规模驾驶场景成为可能。

疑问：文中提到基于nerf的方法和神经渲染方法，这两个方法不是一回事么？（与仅基于每个场景拟合的NeRF方法不同，神经渲染方法[27, 28, 31]可以通过神经纹理有效地初始化，这些神经纹理被存储为3D网格代理顶部的映射。）

由于模型容量受限、内存和计算存在约束，处理大规模驾驶场景仍然面临很大挑战。此外，要在渲染带有丰富建筑物、车道和路标的照片般逼真的视图时也相当困难，因为从少量输入图像获取的稀疏点云数据通常包含大量空洞。

本文提出的方法使得通过高效的Monte Carlo采样、大规模点云筛选和补丁采样来合成大规模驾驶场景成为可能。

创新之处

1、对于稀疏点云，我们通过多尺度特征融合来填补其缺失的区域。
2、我们提出了一种基于𝜔 − 𝑛𝑒𝑡网络的方法，用于从稀疏点云中合成逼真的驾驶场景。该方法通过基本门模块过滤神经描述符，并使用不同策略融合相同尺度和不同尺度的特征。
3、通过神经描述符编辑和缝合场景

提出的神经场景渲染方法旨在通过用点云表示驾驶场景来合成来自任意相机视点的照片真实感图像。

基于驾驶场景的点云数据，采用多种采样策略获取场景信息并降低计算成本，接着使用w-net来表示带有点云的驾驶场景并合成新场景；最后这些场景能够编辑及缝合以合成数据用于更大更丰富的驾驶场景。

框架

输入三个元素：已知的相机参数；一组驾驶场景的图片；一个点云数据（ply格式）
整个框架分为三个部分：光栅化？；稀疏点云采样；𝜔 − 𝑛𝑒𝑡 渲染网络
以下是光栅化一些细节
1、点云数据可以通过SFM,Multi-View Stereo算法获得，比如Agisoft Metashape软件-输入图像获取点云。

2、每个点 𝑖 都位于位置𝑝𝑖，并且与一个神经描述符向量相关联，该向量编码了局部场景内容。？ 什么是神经描述符向量-即表示局部几何形状和光度性质的潜在矢量。

3、根据输入的点云计算出神经描述符

4、将梯度传播到输入中，从而自动地从数据中学习神经描述符的特征。具体来说，就是在神经网络中通过反向传播算法计算出误差对输入的导数，然后将导数应用于输入数据，以更新神经网络中的参数，从而使得神经网络能够自动地学习到数据中的特征。这样做可以提高神经网络的性能和精度，使得模型能够更好地适应不