四步轻松搞定！探索字节最新AnimateDiff-Lightning：高质量视频生成的秘密武器！

字节前脚刚发布了文生图大模型 SDXL-Lightning，后脚就又对文生视频领域下手了。

就在这几天又推出了文生视频模型：AnimateDiff-Lightning，它是一种快速的文本到视频生成模型。它生成视频的速度比原始AnimateDiff 快十倍以上，只需4-8的推理就可以生成质量非常高的视频。该模型是从AnimateDiff_SD1.5_v2中提炼出来的。

01.介绍

该模型采用了渐进式对抗扩散蒸馏技术，恰似可以使用闪电般的快速视频生成。同时字节研发团队也提出了跨模式扩散蒸馏，提高蒸馏模块泛化到不同的风格化基本模型的能力。

这一突破性进展也为 AI视频生成领域 带来了新的可能性。

尤其是与 Contorlnet 的配合下，视频转绘 的工作流程有望迎来全新的升级。

此外，字节团队还开源提供了对应的Comfyui工作流程，为开发者提供了一套完整且高效的解决方案。

值得一提的是，AnimateDiff-Lightning模型 是从 AnimateDiff SD1.5 v2
中精心提炼而来，包含了1步、2步、4步和8步提炼模型。

其中，2步、4步和8步模型的生成质量表现尤为突出，为用户带来更加优质的体验。

除了模型本身的优秀表现，字节还建议使用运动LoRA来进一步提升视频质量。运动LoRA能够产生更强的运动效果，建议选择强度在0.7~0.8之间的运动LoRA以避免水印等干扰因素。

02.使用

主要特色功能

• 仅需 4-8 步推理，就能生成高质量视频，速度快效果好。

• 与 Contorlnet 配合，提升视频转绘工作流程。

• 提供 Comfyui 工作流程，方便开发者使用。

• 推荐使用运动 LoRA，增强运动效果

应用场景

AnimateDiff-Lightning 模型 的应用场景可以很广泛，不限于影视制作、广告宣传、教育培训等多个领域。

03.操作

好了，介绍就到这里，我们来 ComfyUI 中体验一下。

工作流使用到了两个插件：ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite

直接在 ComfyUI 管理器 中搜索安装即可；或者直接导入工作流，在 管理器 中安装缺失节点也是可以的。

这里安装好插件以后，记得要把网盘中的文件模型放入指定目录下：

\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models


  * 1

好了，直接上工作流。

正常文生图的节点听雨这里就不讲了，我们讲下和 AnimateDiff 相关的几个节点：

这个节点，主要是用来选择 AnimateDiff 的模型，这里就是选择 AnimateDiff-Lightning 1 步到 8 步模型的地方。

调度器这个主要是决定了在图像生成流程中如何操纵潜在空间来迭代和细化图像的算法，这里我们选择 sqrt_linear (AnimateDiff) 就可以了。

这里的步数需要和上一个节点选择的模型一致，选择的是 2 步模型，这里的步数就选 2。

CFG 默认 1.0 即可，采样器和调度器也选择默认的 euler 和 sgm_uniform。

以下的两个节点也是联合使用的，批次大小代表总共生成多少张图片。

帧率代表每秒的视频包含多少张图片，以下就代表 1 秒的视频里包含了 16 张图片，包含的图片越多，人物的动作幅度越大，相对也就不太稳定。

批次大小 16，帧率 16，代表生成 1 秒的视频；如果想要生成 2 秒的视频，那就把批次大小改成 32，以此类推。

循环次数就是同一段视频循环几次。

格式就是输出的视频格式了，有很多格式可选，包括 gif、mp4、webp等等。

也可以结合 AnimateDiff 的运动 Lora 模型，只需要在节点 AnimateDif加载器Gen1 的参数 动态LoRA 链接一个
动态LoRA加载器 就可以了。

这里的 LoRA 模型分别代表了向左向右，逆时针顺时针，向下向上，拉近拉运，还可以通过强度来控制运动幅度。工作流以及 LoRA 模型也会放在文末的网盘里。

LoRA 模型也需要放在指定的目录下：

\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\motion_lora


  * 1

在这里插入图片描述

顺便把测试的几个视频也发一下：

但由于AIGC刚刚爆火，网上相关内容的文章博客五花八门、良莠不齐。要么杂乱、零散、碎片化，看着看着就衔接不上了，要么内容质量太浅，学不到干货。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》，相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友，可以长按下方二维码，免费领取！

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去，那么我的使命也就完成了：

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合，通过使用AIGC工具库，能更加快速，准确的辅助我们学习AIGC

有需要的朋友，可以点击下方卡片免费领取！

精品AIGC学习书籍手册

书籍阅读永不过时，阅读AIGC经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验，结合自身案例融会贯通。

AI绘画视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，科学有趣才能更方便的学习下去。

有需要的朋友，可以长按下方二维码，免费领取！