YuhsiHu的博客

目录前言run_nerf.pyconfig_parser()train()create_nerf()render()batchify_rays()render_rays()raw2outputs()render_path()run_nerf_helpers.pyclass NeRF()get_rays_np()ndc_rays()load_llff.py_load_data()_minify()load_llff_data()render_path_spiral()前言要想看懂instant-ngp的c

这篇文章用于记录NeRF论文中数学公式的推导过程。

文章试图构建generalizable NeRF，并且sparse view的setting，能够合成在时间t的新视角。具体而言，希望能够在任意时间、任意视角合成新视图的通用神经渲染方法，尤其在只有少量输入视图的情况下仍能表现优异。该方法针对当前 NeRF 技术难以处理时间动态变化和少样本泛化的问题，提出一种结合多视图立体视觉、神经辐射场、内容-环境解耦的新型框架，能够在无需针对每个场景重新优化的前提下，生成能够随时间变化的高质量视图，且实现日夜等复杂时间动态的平滑过渡。

本文提出了一种基于visual relocalizer的新颖结构，从无位姿图像中恢复相机参数（姿态和内参）。不同于传统基于特征匹配的SfM（如COLMAP），作者将SfM过程重新解释为基于场景坐标回归 (Scene Coordinate Regression)的增量重定位问题。该方法能无需位姿先验、高效地从上千张图像中重建隐式场景表示，并能达到接近传统SfM的姿态估计精度，最终通过新视角合成验证其效果。

Point Cloud Registration是大规模 3D 场景扫描和重建的核心问题。随着深度学习的发展，该任务已趋于成熟。然而，NeRF作为一种新兴的场景表示方法，在大规模场景重建中的注册问题尚未得到充分探索。这主要是由于其隐式表示方式，使得难以建模两个场景之间的几何关系。现有方法通常需要将隐式表示转换为显式表示再进行配准。最近，Gaussian Splatting被剔除，它使用显式3D高斯分布，既保持了高质量渲染，又提高了渲染速度。在本研究中，我们探索基于GS的3D配准任务，并提出了一种新颖的。

FLARE（Feed-forward Geometry, Appearance and Camera Estimation from Uncalibrated Sparse Views）是一种前馈神经网络模型，旨在从未校准的稀疏视图（仅 2-8 个输入）推断高质量的相机姿态和 3D 几何结构。它通过级联学习范式，首先估计相机姿态，然后利用估计的姿态来学习几何和外观。

3DGS的generalization能力较弱，现有方法主要局限于窄范围视角的插值，无法有效定位 3D 高斯点，导致难以实现自由视角合成。低成本的跨视角特征聚合 (Low-cost Cross-View Aggregation)，通过在相邻视角间构建自适应代价体 (adaptive cost volume)，并采用多尺度特征聚合来增强特征匹配。像素级三元组融合 (Pixel-wise Triplet Fusion, PTF)，用于消除多视角重叠区域的冗余高斯点，并聚合跨视角的特征。

Pose-free的NeRF最近很火，近期的工作大部分先是使用渲染的图片训练一个粗略的姿态估计器，再对NeRF和姿态进行联合优化。然而，训练期间只使用了rendered image，姿态估计经常偏移或不准确，因为渲染图与真实图片之间本来就有domain gap。这导致了很差的robustness，并且在联合优化中会陷入局部最优。我们设计了IR-NeRF，使用implicit pose regularization来细化pose estimator。

现有的基于 NeRF 的方法在重建高分辨率真实场景时面临一些限制，包括大量的参数、未对齐的输入数据和过度平滑的细节。在这项工作中，我们对使用高分辨率数据训练 NeRF 进行了首次试点研究，并提出了相应的解决方案：1）将MLP与卷积层结合，可以编码更多的邻域信息，同时减少参数总数；2) 一种新的训练策略来解决由移动物体或小相机校准误差引起的未对准问题；3）高频感知损失。

iNeRF论文精读

今天读的是一篇CVPR2022的文章，这项工作由港科大、腾讯和港大共同完成。他们对模糊图片作为输入进行NeRF重建进行了研究。项目地址：点此前往AbstractNeRF近年来在三维场景重建和新视角合成任务上表现出众。但是，野外环境中采集图像会因为移动或者失焦而模糊，这影响到了重建的质量。为了解决这个问题，作者提出了Deblur-NeRF，它在模糊的输入下也能重建出清晰的NeRF。作者通过模拟模糊过程来重建模糊视图，从而使 NeRF 对模糊输入具有鲁棒性。模拟的核心是一个Deformable Spars

环境搭建和使用，demo，附修改代码

NeRF人体三维重建HumanNeRF的论文精读

NeRF论文精读

Point-NeRF论文精读