在我们的研究项目 Presence 中，我们尝试了这些不同的方法，发现高斯溅射是一种可行的替代方案。例如，摄影测量对光线敏感，通常难以捕捉细节，尤其是在颜色均匀的物体中（例如，穿着均匀黑色服装的人）。以前，这是一项成本高昂且耗时的工程，需要专门的硬件和软件，例如 LiDAR 扫描仪和复杂的软件包。此外，考虑到我们之前在摄影测量和 NeRF 方面的经验，我们已经熟悉了创建高斯溅射的底层过程，因此这导致了短暂的初步研究。首先，创建一个帐户并登录。值得注意的是，这项初步研究是在高斯溅射刚刚兴起的时候进行的。

​​​​​​最近一直在做NeRF相关的项目，其中LLFF前向数据集，是NeRF常用数据集，本文讲下怎么对NeRF数据进行处理几个重要的链接地址。

自 2020 年以来，神经辐射场 (NeRF) [1] 一直是计算机视觉领域的热门话题。通过使用神经网络对体积场景函数进行建模，NeRF 实现了新视图合成的最先进结果。虽然与 NeRF 相关的方法在学术界很受欢迎，但它们尚未在产品上广泛实施以提供用户体验。本文旨在演示如何使用 Neural Radiance Field 为徘徊在大型景点周围的用户创造身临其境的体验。

原文标题：《基于 NeRF 的 App 上架苹果商店！照片转 3D 只需一部手机，网友们玩疯了》只用一部手机，现实中的 2D 照片就能渲染出 3D 模型？没错，无需再手动上传电脑或安装激光雷达，苹果手机自带 App 就能生成 3D 模型。这个名叫 Luma AI 的“NeRF APP”，正式上架 App Store 后爆火：小如 3D 装饰，兼具灯光和形状细节：大到整个墓园的 3D渲染版，都能被很好捕捉：这样无论是风景、3D 物体还是人物，都可以被很好地保存进手机，并快速生成对应的 3D 模型。

传统方法中，通常这一任务采用三维重建再渲染的方式实现，NeRF 希望不进行显式的三维重建过程，仅根据内外参直接得到新视角渲染的图像。分层采样方案来自于经典渲染算法的加速工作，在前述的体素渲染 (Volume Rendering) 方法中，对于射线上的点如何采样会影响最终的效率，如果采样点过多计算效率太低，采样点过少又不能很好地近似。如图所示，白色点为第一次均匀采样的点，通过白色均匀采样后得到的分布，第二次再根据分布对进行红色点采样，概率高的地方密集，概率低的地方稀疏 (很像粒子滤波)。

对于二维图像背后的三维世界建模，哪一种三维表示最合适？现在常见的表示方法有点云、体素和网格，其中多边形网格具有良好的紧致性和几何性质。但是使用神经网络直接由多边形网格生成图像比较困难，因为光栅化的过程阻止了反向传播。因此，本项目所参考的Repo的原作者提出了一个近似的梯度栅格化，使渲染集成到神经网络。使用这个渲染器，可以执行带有轮廓图像监督的单图像三维网格重建，并且该系统比现有的基于体素的方法更好。利用此类可微分的多边形网格光栅化与渲染，才有机会在元宇宙三维世界中进行视觉上的物体生成。

该项目目前仍然没有官方的Windows支持，需要自己编译。