Convolutional Generation of Textured 3D Meshes

论文标题:

Convolutional Generation of Textured 3D Meshes

论文来源:

NeurIPS 2020

论文链接:

https://papers.nips.cc/paper/2020/hash/098d86c982354a96556bd861823ebfbd-Abstract.html

代码来源:

https://github.com/dariopavllo/convmesh

1 引言

在海量图像的驱动下，基于GAN的图像生成模型已经可以获得十分逼真的生成效果，在控制生成图像内容方面，也取得了许多研究进展。由于自然图像是3D物体的2D投影，对于图像中物体的位置、朝向等属性，从3D物体中进行控制相比图像级别的控制有着天然的优势，因此，生成3D物体成为计算机视觉中新的研究方向。现有的3D物体生成的研究中，大多需要3D监督或不同视角下的2D监督，只能使用合成数据或专门制作的多视角数据集，相比海量的单视角自然图像，这类数据的多样性明显不足，使用这类数据训练的模型生成效果并不理想。

2 论文贡献

• 提出了一种易于使用2D卷积进行生成的mesh表示方式——位移图（displacement map）。

• 基于位移图，实现了以单视角2D自然图像为监督，训练带有纹理（texture）的mesh生成模型。

3 Mesh及其纹理

Mesh是一种常用的表示3D物体的方式，它由一系列顶点、边和面组成。顶点记录了物体在3D空间中的位置，面通常采用三角形，由3个顶点确定，一系列相互连接的面构成了3D空间中物体的表面。

Mesh的纹理保存在纹理图中，它可以直观地理解为物体表面的展开图。纹理图与m