【论文笔记】pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis

Pi-GAN

2022,02,11 lemon

项目地址：https://marcoamonteiro.github.io/pi-GAN-website/

摘要

本文首先提出了目前3D视觉领域已有的两大问题：

1. 没有底层的3D表示，或者依赖于“视图不一致”的表示，因此合成的图片在各个视角上不一致；
2. 网络结构不够好，得到的图片质量不高。

因此，作者提出了周期性隐式生成的对抗性网络*(Periodic Implicit Generative Adversarial Networks)*，简称为pi-GAN. pi-GAN利用具有周期激活函数和体积渲染的神经表示，将场景表示为与视图一致的辐射场，能够得到SOTA的效果。

网络结构

3.1 SIREN周期激活函数

同Relu，tanh，softplus等类似，SIREN也是一个激活函数，可表示为：

即权重矩阵W与X相乘，加上偏置B，再进行sin计算。SIREN的一个特性就在于，sin函数求导后是cos，而cos函数可以看作是sin函数的相移(Π/2)。因此sin函数的导数继承了sin函数的特性，使其能够监督复杂信号下的任意一个sin导数。

而本文的表征为：

相较于基础的SIREN函数，还使用了一种名叫FiLM(Feature-wise Linear Modulation)的条件网络层。简单来说，FiLM是一个对输入同时采取乘法和加法操作的调制层，公式表示为：
$$F_{i,c}={\gamma }_{i,c}\ast$$