大家好~我是SP_FA~

生成式 AI 的最新进展显著增强了图像和视频编辑，尤其是在文本提示控制的上下文中。最先进的方法主要依靠扩散模型来完成这些任务。然而，基于扩散的方法的计算需求很大，通常需要大规模的配对数据集进行训练，因此对实际应用中的部署提出了挑战。为了解决这些问题，本文将基于文本的视频编辑任务分为两个阶段。首先，我们利用预先训练的文本到图像扩散模型以零镜头的方式同时编辑几个关键帧。

这篇文章探讨了文本到图像扩散模型的显著效果，并激发了在视频领域应用的广泛探索。零样本方法旨在将图像扩散模型扩展到视频，而无需进行模型训练。最近的方法主要集中在将帧间对应关系融入注意力机制。然而，确定在哪些地方关注有效特征的软约束有时不够充分，可能导致时间上的不一致性。本文提出了FRESCO，除了帧间对应关系外，还引入了帧内对应关系，以建立更强的时空约束。这一增强确保了在帧间转换过程中语义相似的内容保持一致。