[ComfyUI]AnimateDiff基础教程和使用心得_animatediff模型

程序员一东

于 2025-03-29 10:54:02 发布

阅读量637

点赞数 11

文章标签： stable diffusion 人工智能 SD绘画 AI作画 Lora AnimateDiff

本文链接：https://blog.youkuaiyun.com/Eqiqi/article/details/146642055

版权

AnimateDiff是什么

AnimateDiff 是一个能够将个性化的文本转换为图像的扩展模型，它可以在无需特定调整的情况下实现动画效果。

通过这个项目，用户可以将他们的想象力以高质量图像的形式展现出来，同时以合理的成本实现这一目标。

随着文本到图象模型(例如，Stable Diffusion)和相应的个性化技术(例如，LORA和DreamBooth)的进步，现在每个人都可以将他们的想象力转化为高质量的图像。

随后，为了将生成的静态图像与运动动态相结合，对图像动画技术的需求也随之增加。
在这里插入图片描述

AnimateDiff使用场景

动画创建:通过文本输入，用户可以创建个性化的动画图像，将静态图像转变为动态图像，为创意表达提供了一种新的方式。

视频制作: 为视频制作人员提供了一种新的工具，可以将文本描述转换为动画图像，从而丰富视频内容。

安装comfyui

安装ComfyUI-AnimateDiff-
Evolved之前，需要先安装ComfyUI，ComfyUI的安装和使用介绍请参考我的另一篇文章。本篇只介绍如何安装和使用AnimateDiff插件。

系统要求：

需要一台搭载 NVIDIA 显卡的 Windows 计算机，显存至少为 8GB（8G显存只能在512x512 分辨率下搭配 ControlNets）。

AnimateDiff节点安装

ComfyUI-AnimateDiff-Evolved用于加载AnimateDiff的模型，ComfyUI-
VideoHelperSuite用于加载视频或将多张图片合成视频，ComfyUI-Advanced-
ControlNet用于在AnimateDiff中使用ControlNet来控制动画中对象的动作。

ComfyUI-AnimateDiff-Evolved,
ComfyUI-VideoHelperSuite
ComfyUI-Advanced-ControlNet
FizzNodes

安装插件：

安装ComfyUI-Manager节点
界面中打开Manager助手，分别搜索安装以下节点：

ComfyUI-AnimateDiff-Evolved、ComfyUI-VideoHelperSuite、ComfyUI-Advanced-ControlNet

在这里插入图片描述

节点安装在custom_nodes目录下，安装完成后需要重启ComfyUI。

下载绘画大模型：

真人写实模型:

majicMIX realistic 麦橘写实

Dreamshaper 8

C站上的Dreamshaper 8这个模型

哩布上看排行榜TOP就对了：

在这里插入图片描述

下载好的模型放到ComfyUI > models > checkpoints目录。

下载AnimateDiff动态特征模型：

官方提供的motion modules包括mm_sd_v14,
mm_sd_v15和mm_sd_v15_v2，V3_sd_v15_mm，推荐下载mm_sd_v15_v2和V3_sd_v15_mm，下载后放在ComfyUI/custom_nodes/ComfyUI-
AnimateDiff-Evolved/models目录下

在这里插入图片描述

下载运动模块：

可选项：也可以下载motion lora来影响基于v2版本的运动模块，将下载的模型放在ComfyUI/custom_nodes/ComfyUI-
AnimateDiff-Evolved/motion-lora目录下

在这里插入图片描述

下载 VAE 模型：

下载VAE，放到ComfyUI > models > vae这个目录里。用的比较多的是8400这个VAE模型。将其放入 VAE 文件夹。

在这里插入图片描述

下载 ControlNet模型：

下载 controlnet模型，放到ComfyUI > models > controlnet文件夹。（如果是共用本地webui的不用操作此步骤）

使用 AnimateDiff 制作视频

animateDiff中最核心的节点是AnimateDIff
Loader，输入中的model是sd的checkpoint模型；context_options是采样时使用的可选上下文窗口，
如果传入，则动画总长度没有限制，如果未传入，动画长度将限制为 24 或 32 帧，具体取决于运动模块；motion_lora是motion
module的lora模型，如果传入，会影响运动模型

要加载工作流程，可以单击 “加载” 或将工作流程拖到 ComfyUI 上。

节点解释

有些节点应该是很容易理解的，不过我会对大多数节点做一些说明。

在这里插入图片描述

AnimateDiff 加载器

在这里插入图片描述

Loader 是_使用 AnimateDiff 所需的唯一节点 _，它输出一个模型，该模型在传递到采样节点时将执行 AnimateDiff 功能。

输入：

model：为 AnimateDiff 使用而设置的模型。
context_options：采样时使用的可选上下文窗口；如果传入，则动画总长度没有限制。如果未传入，动画长度将限制为 24 或 32 帧，具体取决于运动模型。
Motion_lora：可选运动LoRA输入；如果传入，会影响运动。
Motion_model_settings：影响运动模型的可选设置。
model_name：与 AnimateDiff 一起使用的运动模型。
beta_schedule：SD 噪声调度程序。sqrt_linear是使用 AnimateDiff 的预期方式，具有预期的饱和度。然而，linear也可以给出有用的结果，所以请随意尝试。
motion_scale：改变运动模型生成的运动量 - 如果小于1，则运动量减少；如果大于 1，则运动更多。

输出：

MODEL：注入模型以执行 AnimateDiff 函数

AnimateDiff LoRA 加载器

允许将运动 LoRA 插入运动模型。当前的运动 LoRA 仅正确支持基于 v2 的运动模型。不影响采样速度，因为这些值在模型加载后被冻结目前，我知道的基于
v2 的三个模型是mm_sd_v15_v2、mm-p_0.5.pth和mm-p_0.75.pth。

输入：

lora_name：放置在ComfyUI/custom_node/ComfyUI-AnimateDiff-Evolved/motion-lora目录中的 Motion LoRA 的名称。
强度：Motion LoRA 的效果应该有多强（或多弱）。值太高可能会导致最终渲染中出现伪影。
prev_motion_lora：可选输入，允许将 LoRA 堆叠在一起。

输出：