AnimateDiff采用控制模块来影响Stable Diffusion模型,通过大量短视频剪辑的训练,使其能够调整图像生成过程,生成一系列与训练视频剪辑相似的图像。与传统的SD模型训练方式不同,AnimateDiff通过大量短视频的训练来提高图像之间的连续性,使得生成的每一张图像都能经过AnimateDiff微调,最终拼接成高质量短视频。

可以使用colab体验(https://colab.research.google.com/github/camenduru/AnimateDiff-
colab/blob/main/AnimateDiff_colab.ipynb )。也可以本地sd-webui安装使用。下面介绍sd-
webui安装方式。
AnimateDiff插件是一个可以让你在WebUI上方便地生成动画GIF的扩展,它支持多种运动模块(Motion Module,MM),包括官方的v2版本,以及LoRA和ControlNet等创新的技术。AnimateDiff插件的主要功能和使用方法:
-
安装和准备 :要使用AnimateDiff插件,需要先更新WebUI到v1.6.0 ,然后通过链接安装sd-webui-animatediff(https://github.com/continue-revolution/sd-webui-animatediff)这个插件扩展。同时还需要下载模型的ckpt文件,并放在stable-diffusion-webui/extensions/sd-webui-animatediff/model/目录下。可以在huggingface代码库https://huggingface.co/guoyww/animatediff/tree/main中找到可用的ckpt模型和LoRA模块。注意:mm_sd_v15_v2.ckpt仅支持SD1.5模型,

最低0.47元/天 解锁文章
2099

被折叠的 条评论
为什么被折叠?



