xzrrr的博客

作者介绍了一种名为GSD（View-Guided Gaussian Splatting Diffusion）的新方法，该方法旨在通过单个视角图像来重建三维物体。GSD利用了高斯溅射（Gaussian splatting, GS）表示法，其中三维物体被描述为一组椭球集合。这种方法通过将细粒度的二维特征，经由设计的溅射函数和引导去噪采样过程，映射到三维空间中的对应位置，从而实现从2D到3D的转换。

作者介绍了溅射图像，一种超高效的单目三维物体重建方法。主要创新是它直接使用2D算子，将输入图像映射到每个像素的一个3D高斯中，由此产生的高斯分布具有图像的形式，即溅射图像。并且进一步扩展了该方法，通过交叉视图注意将多幅图像作为输入，使用单个GPU进行训练，在每次迭代中，优化LPIPS等感知指标。最后在几个合成的、真实的、多类别的和大规模的基准数据集上，在PSNR、LPIPS和其他指标方面取得了更好的结果。感知损失LPIPS 表示两张图片之间的感知差异，数值越低越好。

提出了可变形的三维高斯喷溅方法，在变形场中建模单目动态场景；引入了退火平滑训练机制（annealing smoothing training，AST），解决相机位姿不准确的问题，无需额外计算开销，对资源进行了有效的利用。“单目”（Monocular）在计算机视觉中指的是使用一个摄像头或图像源来获取和处理信息。与之相对的是“双目”或多目系统，后者利用两个或多个不同位置的摄像头来模拟人类双眼的立体视觉，从而直接获取深度信息。退火平滑训练机制退火：逐渐改变某个参数的过程平滑：减少波动和不规则性。

新型视角合成旨在从多张输入图像或视频中生成新的场景视图。最近的进展，如3D高斯splatting（3DGS），在生成具有高效流程的逼真渲染方面取得了显著成功。然而，在稀疏输入视图等具有挑战性的设置下生成高质量的新视角仍然困难重重，因为这些区域信息不足（under-sampled areas欠采样区），通常会导致明显的伪影（noticeable artifacts）。本文介绍了一种名为3DGS-Enhancer的新管道，用于增强3DGS表示的质量。