腾讯提出TrajectoryCrafter：重新定义单目视频相机轨迹，打造沉浸式视觉体验！-优快云博客

🌐 社群导航

最新论文解读系列

论文名：TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models

论文链接：https://arxiv.org/pdf/2503.05638

项目链接：https://TrajectoryCrafter.github.io

导读

我们提出了TrajectoryCrafter（轨迹生成器），这是一种用于重定向单目视频相机轨迹的全新方法。通过将确定性的视角变换与随机的内容生成解耦，我们的方法实现了对用户指定相机轨迹的精确控制。我们提出了一种新颖的双流条件视频扩散模型，该模型同时将点云渲染图和源视频作为条件进行整合，确保了准确的视角变换和连贯的内容生成。我们没有利用稀缺的多视图视频，而是通过创新的双重投影策略，精心策划了一个混合训练数据集，该数据集将网络规模的单目视频与静态多视图数据集相结合，显著促进了在不同场景下的稳健泛化能力。在多视图和大规模单目视频上的广泛评估证明了我们方法的卓越性能。

简介

无论是用户拍摄的视频还是人工智能生成的视频，都已成为社交媒体上无处不在的媒介。然而，传统视频只能让我们对动态世界管中窥豹，而让用户能够在日常视频中自由重定向相机轨迹则有望带来更沉浸式的体验。

图2. TrajectoryCrafter（轨迹生成器）概述。从源视频开始，无论是随意拍摄的还是由人工智能生成的，我们首先通过深度估计将其转换为动态点云。然后，用户可以使用所需的相机轨迹交互式地渲染点云。最后，点云渲染结果和源视频由我们的双流条件视频扩散模型共同处理，生成一个高保真视频，该视频与指定轨迹精确对齐，并在方面与源视频保持一致。

方法

1. 预备知识：视频扩散模型

视频扩散模型涉及一个前向过程，用于逐步将噪声注入干净的视频数据中，随着时间的推移创建噪声状态，以及一个反向过程，用于通过噪声估计器去除噪声，该估计器通过最小化以下内容进行训练：

遵循索拉（Sora）的方法，近期的扩散方法采用扩散变压器（Diffusion Transformer，DiT）作为噪声估计器。在训练过程中，一个预训练的3D变分自编码器（VAE）编码器将视频压缩到潜在空间。然后，将分块，与文本标记连接起来，并输入到DiT中。在推理时，噪声被迭代地去噪为干净的标记，这些标记由VAE解码器映射回去，从而生成最终的视频。

2. 通过动态点云进行视图变换

给定一个源视频，我们的目标是通过期望的相机轨迹探索其潜在的场景。图2展示了我们的流程概述。为了实现精确的相机轨迹控制，我们通过将源视频提升为动态点云并从中渲染新视图，将确定性的视图变换与随机的内容生成解耦。我们首先通过单目深度估计从源视频中估计出一系列深度图。接下来，我们将源视频提升为动态点云：

其中是逆透视投影，是相机内参矩阵。利用这个动态点云，我们根据目标相机轨迹渲染新视图：

其中表示透视投影。由于点云是在相机坐标系中重建的，被定义为来自源相机的相对变换。点云渲染结果因遮挡和帧外区域存在明显的空洞，由渲染的掩码视频标记。然而，它们准确地捕捉了几何关系和视图变换。因此，我们利用和作为条件，来引导在目标相机轨迹下生成高保真视频。

图 3. 参考扩散变压器（Ref - DiT）模块。文本和视图令牌首先通过 3D 注意力机制进行处理，随后进行交叉注意力操作，将详细但未对齐的参考信息注入到视图令牌中，为后续层生成经过细化的视图令牌。

3. 双流条件视频扩散

有了动态点云渲染结果和掩码，以及源视频，我们使用条件视频扩散模型学习条件分布。我们基于CogVideoX进行构建，该模型最初是为文本引导的图像到视频（I2V）生成而设计的。我们利用其3D变分自编码器（VAE）进行视频压缩/解压缩，利用BLIP和T5编码器为视频添加字幕，并利用其DiT模块进行视觉 - 文本标记处理。

为了使I2V模型适应我们的任务，即使用所需的相机轨迹重新生成视频，我们提出了一种双流调节策略，以同时利用点云渲染图和源视频。首先，我们用点云渲染图和掩码替换了原始的图像条件，以实现精确的相机控制（图2）。我们使用变分自编码器（VAE）编码器对和进行编码，将它们与采样噪声按通道拼接，并将它们投影为视图令牌。然后，我们将这些视图令牌与文本令牌沿序列维度拼接，并将它们输入到DiT模块中进行去噪。由于点云渲染图在空间上与所需的视图变换对齐，它们提供了强大的几何线索，以确保实现所需的相机轨迹。

然而，由于遮挡和深度误差，点云渲染结果存在孔洞、变形和纹理退化的问题。同时，源视频为高保真生成提供了丰富的外观细节。直接拼接源视频并非最优方案，如图 7 所示，这是因为它与目标视图令牌在空间上存在不对齐的情况。为此，我们通过变分自编码器（VAE）编码器将编码为参考令牌，并提出了一种参考条件扩散变换器（Ref - DiT）模块，将其插入到继承的扩散变换器（DiT）模块之间（图 2）。如图 3 所示，在每个 Ref - DiT 模块中，文本和视图令牌先经过 3D 注意力机制处理，然后通过一个交叉注意力层，其中视图令牌作为查询，参考令牌作为键和值，从而将参考令牌中的信息注入到视图令牌中。与直接拼接相比，我们的 Ref - DiT 模块通过交叉注意力机制，能够将源视频中详细但未对齐的信息传递给视图令牌，从而提高生成的新视图的保真度。点云渲染结果和源视频这两个条件流协同工作，引导去噪过程，从而能够生成具有准确相机轨迹和连贯内容的高保真视频。

图4. 双重重投影。给定一个目标视频，我们将其提升为动态点云，通过随机视图变换渲染出一个新视图。然后，通过逆视图变换将重新投影到原始相机位姿，得到。包含遮挡信息，并且与目标视频对齐，模拟了点云渲染结果。

4. 数据集整理与训练方案

为了训练模型，理想情况下我们需要不同4D场景的同步多视图视频。然而，现有的多视图数据集往往规模较小、风格不具有照片级真实感或缺乏多样性。仅在这些数据集上进行训练会限制模型在现实场景中的性能和泛化能力。

数据整理。幸运的是，我们的轨迹生成器（TrajectoryCrafter）明确地将视图转换与内容生成解耦，使我们只需为双流条件视频扩散模型准备训练数据。受此启发，我们分别提出了两种策略来处理网络规模的单目视频数据集和静态多视图数据集。

对于单目数据集，我们提出了一种双重重投影策略，以生成大规模的点云渲染图和目标视频的训练对，作为条件和监督。给定一个目标视频，我们使用公式2将其提升为动态点云，然后通过随机采样的相对视图变换渲染新视图和相应的深度图。接下来，我们使用将反投影到点云中，并使用逆变换重新渲染视图。如图4所示，相对于目标视频有一个视图变换，而与重新对齐，但像点云渲染图一样，包含因遮挡和超出帧区域产生的空洞。通过这种方式，我们可以从网络规模的单目视频数据集中生成大规模、多样化且高质量的训练对。我们采用OpenVid - 1M单目视频数据集，并使用DepthCrafter创建配对的点云渲染图和目标视频用于训练。

图5. 新型轨迹视频合成的定性比较。我们在多视图数据集iphone上，将我们的方法与基于重建的方法“运动形态”（Shape-of-motion）以及生成式方法“生成式对比扩散”（GCD）和“视图构建器”（ViewCrafter）进行了比较。

另一个有价值的数据源是静态多视图数据集，其特点是相机运动多样且幅度大。为了整合这些数据集，我们设计了一种生成大规模训练三元组的范式，该三元组由源视频、目标视频和点云渲染图组成。对于数据集中的每个视频，我们采样一个片段，并使用先进的重建方法（例如MASt3R）同时重建其全局点云并估计每一帧的相机位姿。然后，我们从该片段中采样两个有重叠内容的视频剪辑，将其中一个指定为源视频，另一个指定为目标视频。最后，对源视频的点云进行渲染，使其与目标视频的相机位姿相匹配，从而创建训练所需的三元组。我们采用了DL3DV和RealEstate 数据集，生成了静态多视图训练数据。

训练方案。在拥有数据集的情况下，我们采用两阶段训练方案，以充分利用动态单目数据和静态多视图数据。在第一阶段，我们使用所有数据训练DiT模块以及Ref - DiT模块中的3D注意力层，但冻结交叉注意力层并跳过参考令牌注入。此步骤专注于合成缺失区域并纠正几何畸变，同时保留点云渲染中目标视图的变换。然而，在没有参考令牌的情况下，生成的内容在空间中可能与源视频不一致。在第二阶段，我们通过对三元组训练数据进行训练，使模型能够将详细信息从参考令牌转移到视图令牌。由于只有多视图静态数据能提供所需的三元组，因此我们在第二阶段仅使用该数据。为防止模型对静态数据过拟合，我们仅训练Ref - DiT模块中的交叉注意力层和补丁嵌入层，同时冻结所有其他模块。经过这两个阶段后，模型能够生成具有准确视图变换和一致内容的高保真视频。

实验

1. 实现

我们基于预训练的CogVideoX - Fun - 5B架构实现了我们的双流条件视频扩散模型。在训练期间，帧分辨率固定为，视频长度设置为49帧。第一个训练阶段进行10000次迭代，学习率为，而第二个阶段进行5000次迭代，学习率为。两个训练阶段均使用大小为8的小批量，并在八个GPU上进行。为了生成动态点云，我们使用DepthCrafter从源视频中估计时间上一致的深度序列，并根据经验设置相机内参。

2. 多视角视频基准测试评估

数据集与评估指标。为了逐像素地评估新轨迹下合成视频的质量，我们采用了iPhone数据集，该数据集包含用一台随意移动的相机和两台静态相机拍摄的7个场景。由于第二个目标视频不完整，我们将随意拍摄的视频作为源视频，将第一个固定相机拍摄的视频作为评估目标。遵循文献，由于相机和激光雷达（LiDAR）误差，我们舍弃了“Space-out”和“Wheel”场景，并使用其余5个经过精处理且具有COLMAP位姿和对齐深度的场景进行评估。我们采用峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像块相似度（LPIPS）作为评估指标。

表1. 新轨迹视频合成的定量比较。我们报告了多视图数据集iphone中每个场景的PSNR、SSIM和LPIPS指标，以及所有场景的平均值。最佳结果以粗体突出显示。

表2. 野外单目视频的VBench评估结果。我们编制了一个大规模的野外视频基准，包含100个真实世界视频和60个高质量文本到视频（T2V）生成的视频，并报告了来自GCD、ViewCrafter和我们方法的新颖轨迹视频的VBench分数。最佳结果以粗体突出显示。

比较基线。我们将我们的方法与三个基线进行比较：GCD、ViewCrafter和运动形状法（Shape-of-motion），其中前两种方法是基于扩散的生成式新视角合成模型，最后一种是基于重建的最先进的4D新视角合成方法。GCD是一种4D新视角合成方法，它将隐式相机位姿嵌入融入视频扩散模型中，并且可以根据给定的相对相机位姿变化，从源视频生成14帧的新视角视频。ViewCrafter最初是为通过点云渲染从单张或稀疏图像进行静态新视角合成而设计的，但我们发现，通过以点云渲染为条件，它也可用于新视角合成。运动形状法利用密集点轨迹、单目深度和运动掩码作为正则化手段，从单目视频中优化动态3DGS。

定性结果。我们首先在图5中比较了我们的方法和基线方法生成结果的视觉质量，其中最后一列展示了真实的新轨迹视频。我们可以看到，基于运动形状（Shape-of-motion）方法合成的视频由于其基于重建的特性而出现了明显的空洞。而全局一致性扩散（GCD）方法的结果存在细节过度平滑和视角不对齐的问题。这是因为GCD是在纹理质量较差的合成数据上进行训练的，这些数据与真实世界的视频有显著差异，并且其视角控制机制是通过隐式姿态嵌入实现的，缺乏精确控制。视图创作者（ViewCrafter）方法的结果在姿态准确性方面表现较好，但难以生成高保真的帧，因为它是为静态新视图合成而设计的，缺乏保持四维一致性的能力。相比之下，由于采用了双流条件视频扩散模型和多样化的网络规模训练数据，我们的方法能够生成高保真、具有四维一致性且姿态控制精确的新轨迹视频。

定量比较。我们进一步在表1中对我们的方法和基线方法的结果进行了定量评估。结果表明，在所有指标上，我们的方法始终显著优于基线方法，这表明我们的方法在合成的新轨迹视频中保持了更好的质量，并且与真实情况更为接近。

3. 野外视频基准测试评估

数据集和评估指标。先前的多视图视频基准测试包含的场景数量有限，难以评估泛化能力。此外，使用峰值信噪比（PSNR）和结构相似性指数（SSIM）等逐像素指标来评估生成的新视图与真实新视图之间的相似度并不理想，因为被遮挡的区域可以填充许多语义上合理的内容，但与真实情况并不相似。这一点在表1中的数值也有所体现，所有方法的PSNR值都相对较低（低于）。为了进行更好的评估，我们收集了一个相对大规模的自然场景视频基准测试数据集，其中包括100个真实世界的单目视频和60个由文本到视频（T2V）模型生成的高质量视频。对于每个视频，我们使用我们的方法以及生成式基线方法（GCD和ViewCrafter）生成6个不同的新轨迹视频。对于评估指标，我们采用VBench协议，该协议包括主体一致性、背景一致性、时间闪烁、运动平滑度、美学质量、成像质量和整体一致性得分。

定量结果。如表2所示，我们的方法在所有视频质量指标上都显著优于基线方法，在生成方面展现了最先进的性能

图6. 野外单目视频的定性比较。我们展示了通过我们的方法以及生成式基线方法GCD [75]和ViewCrafter，从输入视频中重定向相机轨迹为“放大并向右环绕”的结果。

图7. Ref - DiT模块的有效性。我们将我们的完整模型（使用Ref - DiT）与两种替代方案进行比较：一种是不使用Ref - DiT的基线模型（不使用Ref - DiT），另一种是直接将源视频与点云渲染结果拼接的变体模型（使用拼接条件）。黄色框突出显示了最显著的差异。

在主体和背景一致性、时间闪烁、运动平滑度、美学质量和成像质量方面，生成高质量的新颖轨迹视频。

定性结果。图6展示了一个新颖轨迹视频生成的示例，展示了目标相机轨迹为拉近并向右环绕。基于生成式对比扩散（GCD）的结果呈现出明显的伪影、过度平滑的纹理以及相机运动的显著不准确，导致与预期轨迹不一致。而

表3. 消融研究。我们报告了完整模型及其消融版本在多视图数据集iphone上的峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像块相似度（LPIPS）指标。最佳结果以粗体突出显示。

ViewCrafter展示了更高的姿态精度，但它难以与源视频保持一致，从而导致内容漂移和颜色差异。相比之下，我们的方法实现了更高的视觉保真度、与目标轨迹的更好对齐，并且与源视频的内容保持一致。

4. 消融研究

Ref - DiT模块的有效性。在我们的一项关键贡献——双流条件视频扩散模型中，我们提出了Ref - DiT模块，以将源视频信息纳入去噪过程。为了评估Ref - DiT模块的有效性，我们比较了三种变体的新视角合成结果： Ref - DiT：没有Ref - DiT模块的基础模型，w/ Con - cat Condition：直接将源视频与

图8. 训练数据的消融实验。我们将使用混合数据训练的模型与另外两种情况进行比较：不使用多视图数据进行训练和不使用动态数据进行训练。黄色框突出显示了遮挡、几何畸变和运动一致性方面最显著的差异。

点云渲染结果，以及使用Ref - DiT（参考扩散变换器）的情况：即我们的完整模型。从图7中的定性结果可以看出，没有Ref - DiT模块的模型难以保持内容一致性，例如黄色框中标记的眉毛。这是因为点云渲染可能会出现几何畸变和纹理伪影，并且扩散模型无法有效地生成与源视频内容一致的结果。此外，简单的拼接策略也无法生成合理的结果，因为源视频信息与目标视图在空间上未对齐，直接拼接无法有效地整合源视频信息。相比之下，我们的完整模型能够生成具有高保真度和内容一致性的视频，这证明了Ref - DiT模块的有效性。此外，我们在表3中对iPhone数据集上Ref - DiT模块的有效性进行了定量消融实验。我们的完整模型在所有指标上都显著优于其他两种变体，这证实了Ref - DiT模块显著提高了新轨迹视频生成的质量。

训练数据的消融实验。数据集整理策略是我们工作的另一项关键贡献，我们在动态单目数据和静态多视图数据的混合数据集上训练模型。为验证其有效性，我们进行了消融实验，比较了在无动态数据、无多视图数据以及使用混合数据训练的模型生成的新颖轨迹视频结果。定性结果如图8所示，我们可以观察到，在没有多视图数据的情况下训练的模型难以有效处理遮挡和几何畸变问题，例如黄色方框标记的区域。相反，在没有动态数据的情况下训练的模型无法准确跟

图9. 失败案例。由于深度估计不准确，生成的新颖轨迹视频可能会出现不符合物理规律的行为，例如，狗的鼻子似乎穿过了门的玻璃。

踪源视频的运动。相比之下，使用混合数据进行训练可以使模型在遮挡区域生成具有语义意义的内容，并与源视频保持一致的运动。表3中的定量结果进一步证实了我们的数据集整理和训练策略的有效性。

5. 局限性

虽然我们的方法能够生成高保真的新颖轨迹视频，但它仍然存在一些局限性。首先，由于单目输入的三维线索不足以及视频扩散模型的生成长度受限，它难以合成大范围的轨迹，例如360度视角的轨迹。其次，由于我们的方法依赖深度估计从单目视频中创建动态点云，这一过程中的误差可能会传播，从而生成效果欠佳的新颖轨迹视频（见图9）。最后，作为一种视频扩散模型，我们的方法在推理过程中涉及多步去噪，导致计算开销相对较高。

总结

我们介绍了TrajectoryCrafter（轨迹生成器），这是一种用于重定向单目视频相机轨迹的创新方法。它允许用户从随意拍摄的视频或人工智能生成的素材中，以所需的相机轨迹重新生成高保真度的视频，同时保持与源视频的四维一致性。我们的双流条件视频扩散模型将点云渲染图和源视频作为条件进行整合，确保准确的视图变换和连贯的四维内容生成。我们没有依赖稀缺的同步多视图视频数据集，而是从大规模动态单目视频和静态多视图数据集中组合了一个混合训练语料库，显著提高了模型在不同场景下的泛化能力。在多视图和大规模单目视频上的大量评估证实了我们的方法在生成具有新颖相机轨迹的高保真度输出方面的性能。

收录于