2025_NIPS_Emergent Temporal Correspondences from Video Diffusion Transformers

文章核心总结

主要内容

该研究聚焦视频扩散Transformer（DiTs）的内部时间对应机制，提出量化分析框架DiffTrack，揭示模型如何在视频生成中建立帧间时间关联。通过构建带伪真值标注的评估数据集和三类核心指标（匹配精度、置信度、注意力分数），DiffTrack系统分析了3D注意力机制中表征、层和去噪时间步的作用，并验证了其在零样本点跟踪和运动增强视频生成中的实用价值。

核心创新点

1. 提出DiffTrack框架：首个针对视频DiTs时间对应机制的量化分析工具，适配CogVideoX、HunyuanVideo等主流模型。
2. 关键机制发现：明确3D注意力中的查询-键（Query-Key）匹配是时间关联的核心，且仅少数特定层主导该过程，去噪过程中时间匹配逐步增强。
3. 零样本点跟踪应用：基于DiffTrack筛选的最优层和时间步，在真实视频数据集上实现SOTA性能，无需专门训练或微调。
4. 跨注意力引导（CAG）：通过扰动关键层的跨帧注意力图，在不额外训练的情况下提升视频生成的时间一致性和运动自然度。

---

翻译部分（Markdown格式）

Abstract

基于扩散Transformer（DiTs）的视频扩散模型近年来取得了显著进展，能够生成具有时间连贯性的高质量视频。然而，一个核心问题仍未解决：这些模