wrk226的博客

本文做的是迭代式的3D人脸重建。文章整体结构基于pi-GAN，通过分支结构让NeRF预测每个像素的语意，密度和纹理，从而构建出密集3D对齐的语意图，纹理图和密度图。进而可以通过逆映射（inversion）来编辑人脸（旋转，风格，局部变换）。模型结构虽然看着大不一样，但文中基础模块都是照搬的pi-GAN：使用基于siren的网络做NeRF空间，然后使用单独的mapping网络来将纹理和形状隐码转换到适合网络的空间后输入网络。其中形状隐码直接输入整个网络而纹理隐码只输入颜色分支。其中有一点不同的

本文要解决的问题和GRAF基本一致，而且模型结构也非常相似，都是GAN结构，只不过整合了GAN领域的一些新结构，对效果做了提升。具体结构就如上图a所示，输入相机位置和噪声（用于替换GRAF中的物体纹理和形状先验），预测对应点的颜色和密度，主要提升有三方面：1. 激活函数从上图a中可以很清楚的看到，每个线性层后接的不再是ReLu，而是一个FiLM SIREN，这个激活函数本质上就是把线性函数包含在sin里面，构造成一个可学习的sin函数。具体的结构就如图b所示。作者说这会让生成的图像更清晰，并

本文也是基于NeRF的一个衍生，可以看做GRAF的进阶版。主要做的工作是基于单图的3D重建，并在重建过程中将外观（光照和纹理的结合）与几何信息解耦，另外每个模型只能处理同一类物体，无法同时处理多个不同类物体。主要的思路是强行要求所有输入图像通过形变网络对应到同一个基准形状（比如平均脸），并共用同一套NeRF网络学习并进行渲染，从而解耦形状和外观。结构主要包含四个部分：1. 从形变空间（deformed space）到基准空间（canonical space）的转换。这里就是说我直接在形变空间中发

本文是针对NeRF的优化，NeRF中往往需要同一个场景中非常多的图片才能很好地生成新的视角，而pixelNeRF就提出了一种方式来让模型在仅有几张甚至一张图的情况下也能生成新视角。文中提出，NeRF之所以无法在一张图基础上生成新视角的原因是没有先验信息。因此本文预先通过resnet对输入图片提取了基于每个像素的信息，然后在生成新视角时通过查询对应像素上的信息从而获得先验，辅助NeRF生成新视角的图像。上图就是在网络仅有一张图片作为输入时网络的运行流程，最中间绿色的那个f其实就是NeRF，因此与N

本文的主要目的是基于NeRF的重光照。原本的NeRF中要求所有视角中的图片的光照方向，都是一致的，因此合成出来的结果中的光照自然也是都一样的，无法改变，而本文就是希望可以通过对光线建模来允许对于光照条件的任意操控。NeRF本质上是将场景建模为往外发射光线的实体，而NeRV则是将场景当做可以反射光线的实体。由于物体颜色的本质就是光照的结果，因此NeRV就单独对密度和反射光照建模（NeRF是对密度和颜色联合建模），密度和NeRF是没啥区别的，而反射光照则是基于BRDF的反射方程，即要求对应的MLP预测出物体

NeRF存在的一大问题是对拍摄的照片要求比较高，例如光照要一致，周围不能有运动的物体。然而现实中我们能大量获得的多视角图片通常都不能满足这两点。比如如果我们想要恢复天安门，但天安门前通常人来人往，想要拍摄没人的照片非常困难。因此本文就提出了一个方案，可以放宽对于光照变化和瞬时遮挡（即运动的遮挡物）的限制。基本的建模和NeRF是一样的，就不赘述了，直接讲他如何解决光照变化和瞬时遮挡问题的。光照变化：首先，本文借用了Generative Latent Optimization（GLO）的方法，对

NeRF存在的一大问题就是仅仅只能表示一个场景，因此这篇文章就学提出了一个框架可以同时学习多个场景，且可以扩展到没有学习过的场景。本文与NeRF最大的不同是输入的数据不仅仅有目标视角，还有对应的所有同一场景的多视角图片，因此理论上的确是可以直接端到端的应用于新场景的。模型流程：1. 将同一场景的多视角图片一同输入网络（个数不限），然后使用一个U-Net来抽取每张图片（source view）的特征，特征包括图像颜色，相机参数，图像表征（这里可以就理解成NeRF中的向辐射场发射光线，然后保存对

NeRF中，我们是使用一个辐射场来模拟一个现实场景，虽然相机可以任意改变位置，但是场景里的东西是固定不能动的，因为一个辐射场就是一个整体。而本文则是通过将多个辐射场组合，从而使得任一辐射场都可以在场景内任意移动。当然，本文将辐射场radiance field称之为feature field。文章组成：1.首先整体流程就是用的GRAF那一套，因此包含了一个生成器和一个鉴别器，只不过生成器内部有所区别。一方面GIRAFFE里有多个辐射场，另一方面是在渲染方面进行了一点改变。2.首先，因为有多个辐

这篇文章主要讲的是如何在没有相机参数的情况下进行多视角的场景重构。首先作者介绍了两种场景重构方式：1. 直接还原场景的3D模型，这一方案的难点在于通常难以恢复细节，而且光照对于角度的变化并不真实，因为通常都会假设表面是漫反射的2. 隐式表示（Implicit-Representation）的方案，即学习这么一个模型，输入是相机的参数，输出是相机视角观测到的图像。而nerf就是这种类型的模型。这种方案有助于减少3D模型的存储，但问题在于需要针对每个场景单独建模然后，作者提到，在训练nerf的时

这是一篇改进NeRF的文章，主要是引入了GAN，从而避免了NeRF对于相机标签的需求。主要的结构非常直观，就是一个标准的conditional GAN, 然后NeRF的部分就放在了生成器里面。首先，生成器的输入就是相机的各种参数，包括了位置，方向，焦点，远近等等信息，这些参数都是完全随机的从一个均匀分布中取出来的。然后输入光线采样器来确定光线的落点和光线的数量。之后就分了两路输入条件辐射场：1.沿着光线进行采样，确定需要采样点的位置。然后将位置信息和随机采样的形状信息结合输入神经

目的是从多张2D图中恢复出3D场景。区别于别的直接通过图片生成对应3D结果的模型，nerf的模型都是针对单场景优化的，输入是相机位置和观看方向，输出就是对应的密度图和深度信息。具体步骤：1.先假设模型从相机处发射一堆平行的射线2.让网络根据这些射线，计算出每个射线上遇到的颜色和物体密度（比如穿过了玻璃，穿过了小草之类的）3.基于这些信息使用传统的volume rendering技术来渲染成对应的2D图像4.由于这些步骤都是可导的，所以可以用生成的2D图像与原始图像计算重构损失，进而优化模型。5