【2023.07.31】dreamfields&clip-mesh

1. dreamfields

利用预训练的图像和文本编码器，构造CLIP loss用于优化NeRF，实现文字生成三维物体。并且使用一些方法优化生成效果，如：对透射率增加正则化、随机相机位置采样、固定物体位置、3d数据增强（遮蔽背景、随机剪裁）。

1）为了描述文字和渲染图片的相似性，设计CLIP loss:

 其中分别为图像编码器和文字编码器；是在pose下渲染的图片。

2）由于NeRF倾向于学习高频和信息，所以会出现半透明物体漂浮在空间中。这些高频信息会填满相机视角，而不会用于生成物体。所以作者想到约束渲染的透明度。所以对场景的透明度分布的均值设计约束。

由于如果对一个黑色或白色的alpha-blending的场景渲染，则场景中带密度的点会随着反向传播增加。所以在训练时为物体增加随机的背景（如