Amazing!精准可控新视角视频生成+场景级3D生成！北大&港中文&腾讯等开源ViewCrafter

最新推荐文章于 2025-03-07 18:00:00 发布

AI生成未来

最新推荐文章于 2025-03-07 18:00:00 发布

阅读量1.6k

点赞数 14

分类专栏： 3d生成 3D场景图像生成文章标签： 3D生成 3D场景图像生成视频生成

本文链接：https://blog.youkuaiyun.com/AIGCer/article/details/142200266

版权

论文链接: https://arxiv.org/abs/2409.02048
GitHub链接：https://github.com/Drexubery/ViewCrafter
项目链接: https://drexubery.github.io/ViewCrafter/
Demo链接: https://huggingface.co/spaces/Doubiiu/ViewCrafter

亮点直击

本文提出了一种迭代视图合成策略，并结合内容自适应相机轨迹规划算法，以逐步扩展新视图覆盖的区域和重建的点云，从而实现远距离和大范围的新视图合成。

本文的方法在多个具有挑战性的数据集上表现出色，不仅在合成新视图的质量方面表现优异，还在相机姿态控制的精确度方面表现出色。该方法不仅适用于新视图合成，还可以通过高效优化基于3D-GS的表示，实现实时渲染的沉浸式体验，以及用于场景级别的文本到3D生成，以创造更具想象力的艺术作品。

来自北大、港中文、腾讯等机构的研究人员提出ViewCrafter，可以从根据单张或稀疏输入图像生成精确相机可控的新视角视频，并支持场景级图生3D，文生3D和稀疏视角重建等应用。

传统的新视生成方法如NeRF和3D-GS等技术依赖于密集的多视角训练数据，这限制了它们在仅有稀疏甚至单张输入视角的情况下的应用。同时，这些方法没有需要逐场景优化，不具备范化能力，限制了他们在训练资源受限场景下的应用。

在实际应用中，一个更理想的问题场景是从稀疏视角甚至单张输入图像中生成任意规模场景的新视角。这项任务相当具有挑战性，因为它需要模型对3D物理世界有全面的理解。而本文提出的新视角生成方法,ViewCrafter,能够对任意输入图像实现相机轨迹精确可控的新视角视频生成，并进一步支持图生3D,文生3D和稀疏视角重建等应用。

目前论文和代码均已开源，并提供了在线Hu