StoryDiffusion：一致性自注意力用于长距离图像和AI视频生成

最新推荐文章于 2025-11-12 03:28:02 发布

原创最新推荐文章于 2025-11-12 03:28:02 发布 · 1.3k 阅读

25 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #stable diffusion #ai绘画 #AI作画 #aigc #人工智能作画 #ai

大家好我是阿道夫！！！

艺术创作领域，长距离图像和AI视频生成一直是艺术家和设计师追求的目标。如今，借助StoryDiffusion这一先进的AI技术，你不仅可以实现长距离图像和AI视频的生成，还能保持图像和视频之间的一致性。本文将带你深入了解StoryDiffusion的使用方法，助你轻松掌握这一技巧。
在这里插入图片描述

StoryDiffusion是一款基于深度学习的图像和视频生成模型，它能够在没有任何人类指导的情况下生成高质量、逼真的图像和视频。与传统的图像和视频生成技术相比，StoryDiffusion具有更高的生成质量和更快的生成速度。

当前基于Diffusion扩散方法的生成模型在生成的图像中保持一致的内容仍然具有较大的挑战，尤其是包含复杂主体和细节的图像生成中。因此，南开大学和字节跳动公司共同提出了两个新颖的组件构建整体框架：

• 一种新的自注意力计算方法，称为一致性自注意力（Consistent Self-Attention），该方法能够显著提高了生成图像之间的一致性，并且能够以零样本的方式增强流行的预训练基于扩散的文本到图像模型。

• 研究团队为了将这种方法扩展到长距离视频生成，还进一步引入了一个新颖的语义空间时间运动预测模块，称为语义运动预测器（Semantic Motion Predictor）。该模块能够被训练用来估计语义空间中提供的两幅图像之间的运动条件，将生成的图像序列转换为具有平滑过渡和一致主体的视频，与仅基于潜在空间的模块相比，特别是在长视频生成的背景下，其稳定性显著得到了很好的提高。

通过合并这两个新颖组件构建了一个被称为StoryDiffusion的框架，能够用一致的图像或视频描述，生成基于文本故事和涵盖丰富多样的内容的一致性长视频。StoryDiffusion框架在视觉故事生成方面包含了开创性的探索，通过图像和视频的呈现。

一致性图像生成与近期先进方法的比较:

长视频生成与当前先进的方法的比较：

StoryDiffusion官方演示

研究团队提供了在线演示Demo示例，可自由体验：https://huggingface.co/spaces/YupengZhou/StoryDiffusion

01. 演示视频

StoryDiffusion 能够创造魔法故事，实现长距离图像和视频生成！
在这里插入图片描述

02. 漫画生成

通过所提出的一致性自注意力，StoryDiffusion 还能够以多种风格创造漫画，保持角色风格和服饰的一致性，以实现连贯的叙事。

03. 长视频生成

StoryDiffusion 可以通过图像语义运动预测器，采用生成的一致性图像或用户输入的图像作为条件，生成高质量的视频。

04. 长视频画廊

在这里插入图片描述

视频剪辑画廊

在这里插入图片描述

研究团队还创作了了创意视频剪辑，以更好地展示MotionPredictor 的性能。

05. 卡通角色生成

StoryDiffusion 能够创造出惊人的一致卡通风格角色。

06. 多角色生成

StoryDiffusion 能够同时保持多个角色的身份，并在一系列图像中生成一致的角色。

07. 更多漫画生成示例

StoryDiffusion 能够创造令人印象深刻的漫画。

当获奖时

女孩和松鼠

StoryDiffusion架构方法

一致性自注意力的结构。下图展示了，StoryDiffusion 生成主题一致图像的流程。为了创造描述故事的主题一致图像，研究团队将一致性自注意力整合到预训练的文本到图像扩散模型中。并将故事文本分割成几个提示，并在一批中使用这些提示生成图像。一致性自注意力在一批多个图像之间建立连接，以实现主题一致性。

运动预测器的结构。下图展示了，StoryDiffusion 方法用于生成主题一致图像的过渡视频的流程。为了有效地模拟角色的大动作，研究团队将条件图像编码到图像语义空间中以编码空间信息，并预测过渡嵌入。然后，使用视频生成模型对这些预测的嵌入进行解码，嵌入作为交叉注意力中的控制信号，指导每一帧的生成。这些图像作为插图，用于叙述如上述所示的复杂故事。