腾讯提出TrajectoryCrafter：重新定义单目视频相机轨迹，打造沉浸式视觉体验！

🌐 社群导航

🔗 点击加入➡️【AIGC/LLM/MLLM/3D/自动驾驶】 技术交流群

🔗 点击加入➡️【2-3月CCF投稿】交流群

最新论文解读系列

论文名：TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models             

论文链接：https://arxiv.org/pdf/2503.05638

项目链接：https://TrajectoryCrafter.github.io 

导读

我们提出了TrajectoryCrafter（轨迹生成器），这是一种用于重定向单目视频相机轨迹的全新方法。通过将确定性的视角变换与随机的内容生成解耦，我们的方法实现了对用户指定相机轨迹的精确控制。我们提出了一种新颖的双流条件视频扩散模型，该模型同时将点云渲染图和源视频作为条件进行整合，确保了准确的视角变换和连贯的内容生成。我们没有利用稀缺的多视图视频，而是通过创新的双重投影策略，精心策划了一个混合训练数据集，该数据集将网络规模的单目视频与静态多视图数据集相结合，显著促进了在不同场景下的稳健泛化能力。在多视图和大规模单目视频上的广泛评估证明了我们方法的卓越性能。

简介

无论是用户拍摄的视频还是人工智能生成的视频，都已成为社交媒体上无处不在的媒介。然而，传统视频只能让我们对动态世界管中窥豹，而让用户能够在日常视频中自由重定向相机轨迹则有望带来更沉浸式的体验。

图2. TrajectoryCrafter（轨迹生成器）概述。从源视频开始，无论是随意拍摄的还是由人工智能生成的，我们首先通过深度估计将其转换为动态点云。然后，用户可以使用所需的相机轨迹交互式地渲染点云。最后，点云渲染结果和源视频由我们