3D 生成重建007-Fantasia3D和Magic3d两阶段玩转文生3D

3D生成重建3D 生成重建007-Fantasia3D和magic3d

---

0 论文工作

  两篇论文都是两阶段法进行文生3d，其中fantasia3D主要对形状和外表进行解耦，然后先对geometry进行生成，在结合几何对texture进行生成。在几何阶段是用DMTet形式进行表示，在纹理阶段使用的是PBR对材质进行表达，因为这篇论文使用的是 传统的渲染管线，本来应该比nerf表示的形式要快一些，但是由于使用了两个步骤的扩散，所以一正负，应该也没优势了，他最大的优势就是可以无缝衔接现有的渲染管线，在下游的任务中可以直接使用，这一点是由于nerf表示的形式的。
  其中Magic3D的两阶段，是先生成一个coarse nerf，提取出mesh在第二阶段进行生成优化提升到高分辨率。不过magic3d生成风格上还是略显不足。但是相比于freamfusion的6464的低分辨率，magic3d提升到512512在高频信息和细节这个点上，magic3d还是提供一个优化思路的。速度上由于粗体低分使用更高效的instantNGP和第二阶段使用的传统渲染的优势，在速度上较dreamfusion还是提升了2倍左右。论文还讨论了使用dreambooth 这个Personalized 文生图扩散模型进行更加细致的3d生成，因为文本的描述是不同图像中的细节丰富。dreambooth3d也是使用想的思路进行的。
  他们的共同的另外一个优势是，因为是最终的形态是以mesh形式表示，所以即使生成更高分辨率的时候计算量也不会比nerf形式的表达增加的多。
  他们在两个阶段都是使用sds损失，这一点上并没有变化。有趣的是，fantasia3d使用的dmtet表达形式是magic3d作者他们组的前期工作，这篇论文时间线也是在magic3d之后，应该又受到magic3d的启发。此前学习magic3d作者的一些其他工作比如GET3D等，膜拜，心向往之。
参考
magic3D