【2023.08.01-2023.08.02】dreamfusion问题汇总

本文探讨了非欧几里得数据在3D生成中的应用，如体素网格、点云和神经场，以及相关技术如Clip-R-Precision的精度改进。文章还涉及了漫反射模型、体密度与模型法向量的关系，以及Hessian矩阵在优化中的作用，特别是处理条件差的矩阵和梯度下降算法的扩展。

1.euclidean and non-euclidean data

non-euclidean data 没有全局参数和共同的坐标系。不能直接映射到 $\mathbb{R}^n$ 的数据，只能用网络表示。如果强行映射，则会损失一些信息，如顶点或边。

在3d生成领域，3d数据的表征方式，按照euclidean and non-euclidean data，则euclidean data包含voxel grid,multi-view image; non-euclidean data包含mesh，point clouds，神经场。

体素网格是指用三维均匀分布的网格描述数据。体素中储存特征构成的高维向量或单个数据，如只透明度或透明度+颜色或geomatric occupancy、体密度、signed distance value.

点云是对三维物体的一组离散的无结构的采样点，由于不包含全局的结构，所以被认为是non-euclidean data。

神经场指部分或整体用神经网络描述的场景或物体。

2. clip-r-precision& r-precision，

r-precision计算以生成的图像为查询序列，从100个备选文字prompt中选出前r个中包含正确propmt的正确性。使用DAMSM：deep attention multimodal similarity model。模型包括文字编码器和图像编码器。当模型收到输入的文本和图像后，把文字中的词和部分图片映射到联合的embedding空间中。大部分的方法会在用于计算R-Precision时直接优化DAMSM。这使得R-precision对于不在优化过程时使用DAMSM的模型不公平。

所以在R-precision的基础上提出clip-r-precision.CLIP相比DAMSM在flower，CUBdataset上文字图像找回率表现更好。

3. lambert diffuse model