AnimateDiff:一款强大的制作丝滑动画视频插件,轻松让你的图片动起来

得益于StableDiffusion的开源,目前很多开发者推出了基于SD生成动画和视频的应用技术和扩展插件,在众多的技术中,AnimateDiff插件以“效果丝滑、稳定、无闪烁”等特性,成为目前Stablediffusion中效果最好的生成动画视频插件之一。今天就给大家详细介绍一下在Stable diffusion中快速生成动画的插件AnimateDiff。

一.AnimateDiff插件介绍
AnimateDiff,它的全称是Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning,翻译成中文就是:无需特定调整即可为您的个性化文本到图像扩散模型制作动画。它是一款能制作丝滑动画视频效果的插件,目前主要有3个不同的版本,StableDiffusion WebUI版本,ComfyUI版本和一个纯代码版本。

本文主要以Stable Diffusion WebUI版本进行讲解。AnimateDiff在Stable DiffusionWebUI中使用非常的简单直接,没有太多参数设置,主要依赖SD自身功能,就可以很好实现文生动画、图生动画、视频重绘动画等动画方式,动画的效果流畅稳定,动作也很准确。

我们先看一下官网生成动画的效果。

二. AnimateDiff插件 安装**

AnimateDiff插件安装

插件地址:https://github.com/continue-revolution/sd-webui-animatediff.git

****AnimateDiff模型下载

插件安装好之后,还需要下载一个动画模型和八个控制镜头的LoRA模型,(控制镜头的模型可以不用下载,但是动画模型必须下载),动画模型下载V2版本的“mm_sd_v15_v2.ckpt“即可,它是目前最稳定效果最好的。最近刚刚发布v3版本了。

下载地址:https://huggingface.co/guoyww/animatediff/tree/main

下载好AnimateDiff模型后将把模型放到对应的文件夹里面。“mm_sd_v15_v2.ckpt”模型放到"…\\extensions\sd-webui-animatediff\model"目录下面,LoRA模型放到"…<stable-diffusion-webui>\models\lora"目录下面即可。

安装完成后,重启SD WebUI,就可以看到我们安装的AnimateDiff插件了。

三.AnimateDiff 的参数说明

关于AnimateDiff插件的参数说明可以参照文档:https://github.com/continue-revolution/sd-webui-
animatediff#webui-parameters。

这里简要对各个重点参数进行说明。

(1)动画模型(Motion Module) :推荐选择mm_sd_v15_v2.ckpt。

下面是mm_sd_v15.ckpt(左)与mm_sd_v15_v2.ckpt(右)之间的比较。
在这里插入图片描述

(2)启用 AnimateDiff :勾选启用AnimateDiff插件。

(3)保存格式(Save Format) :支持GIF、MP4、WEBP、WEBM等格式。
(4)总帧数(Number of frames)和帧率(FPS)
:帧率默认值是8,也就是每秒8帧,即1秒8张图片,如果要要生成一个2秒的动画就是82=16(总帧数),4秒的动画就是84=32(总帧数),以此类推。

(5)显示循环数量(display of loop) :只设置为0,就代表动画能无限次循环播放

(6)闭环(Closed loop) 。闭环就是让最后一帧和第一帧保持一样,让动画无限循环。以下是闭环的4个选项的介绍:

  • N:指的是没有这种循环,也就是只能从头到尾,不会回到开始。

  • R-P:指的是尝试减少闭合循环上下文的数量。提示词旅程不会被插值为闭合循环。

  • R+P:指的是尝试减少闭合循环上下文的数量。提示词旅程会被插值为闭合循环。

  • A:指的是积极尝试让最后一帧和第一帧保持一样,也会将提示词旅程插值为闭合循环。

注意:提示旅程插值是一种计算方式,它用于调整和改变视频的帧与帧之间的内容,以达到更好的连续性和流畅度。

(7)上下文批单批数量(Context batch size)
:一次有多少帧将被传递到运动模块。该模型是用16帧进行训练的,所以当帧数设置为16时,它会给出最好的结果。

四. AnimateDiff使用体验

大模型:majicMix realistic V7

正向提示词:a super beautiful Chinese girl,very delicate features,long hair,delicate
skin,big eyes,white sweater,necklace,standing in the street,upper body,

文生图相关参数设置如下:

AnimateDiff插件参数设置如下:

其中,总帧数为0,等同于16。

点击【生成】按钮,等待一会,就会生成的GIF动画效果图片了。

总帧数设置为24(3秒)。

总帧数设置为32(4秒)

我们尝试换一种大模型realisticVisionV20(官网实例使用到的模型)。

总帧数设置为16(2秒)

总帧数设置为24(3秒)

总帧数设置为32(4秒)

五. AnimateDiff使用注意事项

如果生成的动画中的前一秒和后一秒没有关联性,如下GIF动画。

可以在设置-Optimizations菜单中,勾选“Pad prompt/negative prompt to be same length ”选项。

好了,今天的分享就到这里了,希望今天分享的内容对大家有所帮助。
文章中提到的AI绘画SD整合包、各种模型插件、提示词、GPT人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
在这里插入图片描述

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值