2403_85515624的博客

现有的基于点元绘制（splatting）的方法，常常由于点元绘制误差而产生扭曲的几何形状。虽然基于扩散的方法利用了丰富的三维先验信息来改善几何形状，但它们往往存在纹理幻觉的问题。SplatDiff，这是一种由像素点元绘制引导的视频扩散模型，旨在从单张图像中合成高保真度的新视角。具体而言，提出了一种对齐合成策略，用于精确控制目标视角，并实现几何一致的视角合成。为了缓解纹理幻觉问题，设计了一个纹理桥接模块，该模块通过自适应特征融合实现高保真度的纹理生成。

从多视角视频构建动态场景的具有照片级真实感的自由视角视频（FVVs）仍然是一项具有挑战性的任务。尽管当前的神经渲染技术已经取得了显著进展，但这些方法通常需要完整的视频序列来进行离线训练，并且无法实现实时渲染。为了解决这些限制，这里引入了 3DGStream，这是一种为现实世界动态场景的高效自由视角视频流设计的方法。此方法能够在 12 秒内快速完成逐帧的即时重建，并以每秒 200 帧的速度实现实时渲染。

今天为大家推荐一篇由中国科学院的高林教授领导的团队撰写的3DGS综述，这篇综述不仅对最新的技术进行分类和总结，更多重要内容请大家阅读原文！，以便读者对各种算法的质量和性能有更深入的了解。还非常可贵地对各种算法进行了定量的测试。

各位观众老爷大家好！三连入场，神清气爽！今天为大家带来一篇最新的工作，是阿里通义Lab开源的LHM项目，该项目旨在从单张图像生成可驱动的3D人体模型。而LHM模型采用3DGS表示，利用大规模重建模型的优势，高效推断高保真度的3D虚拟形象。其中的多模态Body-Head Transformer架构能显著提升了对脸部和衣物细节的还原能力。基于Pytorch实现。此方法能够在几秒钟内通过单次前馈传递重建出一个可进行动画操作的人体虚拟形象。最终生成的模型支持实时渲染以及姿势控制的动画效果。

受上面这些研究工作的启发，作者提出了用于三维场景重建和新视角合成的二维高斯溅射法，该方法结合了两者的优势，同时克服了它们的局限性。与三维高斯溅射法（3DGS）不同，作者的方法使用二维高斯基元来表示三维场景，每个基元定义一个具有方向的椭圆盘。二维高斯相对于三维高斯的显著优势在于其在渲染过程中能够精确表示几何形状。具体而言，3DGS 在像素光线与三维高斯的交点处评估高斯值 ，这导致从不同视点渲染时深度不一致。相比之下，作者的方法采用显式的光线 - 溅射相交计算，实现了透视正确的溅射效果。

作者在原文摘要中说明了3DGS出现以上现象的原因：缺乏三维频率约束以及使用了二维扩展滤波器。而为了解决这个问题，作者引入了一种三维平滑滤波器它根据输入视角所产生的最大采样频率来限制三维高斯基元的大小，从而消除了放大时出现的高频伪影。此外，用二维 Mip 滤波器（模拟二维盒式滤波器）取代二维扩展滤波器，能有效地减轻走样和扩展问题。同时作者也在单尺度图像上进行训练并在多尺度上进行测试等场景，验证了他们所提出方法的有效性。

它通过使用3D高斯函数来表示场景中的点，并将这些高斯函数投影到2D图像平面上进行渲染。这项技术自2023年由Kerbl等人在 ACM Siggraph会议上首次提出以来，因其出色的渲染质量和实时性能而受到学术界和工业界的广泛关注。下图为3DGS算法的流程以下为原文中3DGS效果的展示备注：峰值信噪比(Peak Signal to Noise Ratio,PSNR)是图像质量评价领域最常用且历史最悠久的算法，基于两张图像之间的均方误差，可以进一步计算两张图像之间的PSNR值；