【ComfyUI进阶1】5分钟制作丝滑的AI视频-+AnimateDiff

最新推荐文章于 2025-05-07 14:18:43 发布
原创 最新推荐文章于 2025-05-07 14:18:43 发布
· 8.6k 阅读 · 47 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #音视频 #stable diffusion #AI作画 #AIGC

用AnimateDiff Prompt Travel video-to-video搭配ComfyUI制作AI视频，效果丝滑

制作Stable Diffusion AI动画

Ai跳舞教学案例视频

1. AnimateDiff的技术原理

AnimateDiff可以搭配扩散模型算法（Stable Diffusion）来生成高质量的动态视频，其中动态模型（Motion Models）用来实时跟踪人物的动作以及画面的改变。

2. 环境搭建

这里我们使用ComfyUI来搭配AnimateDiff做视频转视频的工作流。

我预设ComfyUI的环境已经搭建好了，这里就只介绍如何安装AnimateDiff插件。

3. ComfyUI AnimateDiff视频转视频工作流

  • 找到一个真人跳舞视频

  • 提取视频帧，并用ControlNet Openpose提取人物动作信息

  • 根据视频帧里面的动作信息，使用SD重新绘制每一帧视频

  • 组合出完整视频

3.1 读取ComfyUI工作流

直接把下面这张图拖入ComfyUI界面，它会自动载入工作流，或者下载这个工作流的JSON文件，在ComfyUI里面载入文件信息。

3.2 安装缺失的node组件

第一次载入这个工作流之后，ComfyUI可能会提示有node组件未被发现，我们需要通过ComfyUI

最低0.47元/天 解锁文章
[ComfyUI进阶教程] Comfyui-AnimateDiff节点安装和使用说明
细节控-AI先行者的博客
12-29 3899
除了示例中的例子，还有很多种AnimateDiff的组合方式，可以说文生图中的工作流都适用于AnimateDiff，只需要在model后添加motion module和motion lora即可。如果SD checkpoint选择的是SDXL，那motion module也要与之对应，选择支持SDXL的motion module。
【工具篇】【万字拆解 Lumen5：不会剪辑也能3分钟出片的AI视频魔法师（附保姆级教程）】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
02-20 845
这个加拿大团队打造的AI工具，能把2000字的公众号文章变成爆款短视频，连口播博主都要失业。实测用《三体》小说片段生成科幻解说视频，从导入文本到导出成片仅需3分17秒。但需要注意，2024年中国已出台《AI生成内容标识规范》，要求所有AI视频必须添加水印。建议商用场景开启「合规模式」，避免法律风险。举个真实案例：某知识付费团队用Lumen5将课程逐字稿批量生成宣传视频，单月抖音涨粉23万，人力成本降低70%。，那Lumen5就是。
从零开始教你玩转ComfyUI-保姆级部署教程-手把手带你ComfyUI工作流搭建
热门推荐
php源码
08-15 1万+
ComfyUI就像拥有一支神奇魔杖，可以轻松创造出令人惊叹的AI生成艺术。从本质上讲，ComfyUI是构建在Stable Diffusion之上的基于节点的图形用户界面(GUI)，而Stable Diffusion是一种最先进的深度学习模型，可以根据文本描述生成图像。但ComfyUI真正特别之处在于，它如何让像你这样的艺术家释放创造力，将你最疯狂的想法变为现实。想象一下有一块数字画布，你可以通过连接不同的节点来构建自己独特的图像生成工作流，每个节点代表一个特定的功能或操作。
[ComfyUI]AnimateDiff基础教程和使用心得
最新发布
ice829的博客
05-07 927
AnimateDiff 是一个能够将个性化的文本转换为图像的扩展模型，它可以在无需特定调整的情况下实现动画效果。通过这个项目，用户可以将他们的想象力以高质量图像的形式展现出来，同时以合理的成本实现这一目标。随着文本到图象模型(例如，Stable Diffusion)和相应的个性化技术(例如，LORA和DreamBooth) 的进步，现在每个人都可以将他们的想象力转化为高质量的图像。随后，为了将生成的静态图像与运动动态相结合，对图像动画技术的需求也随之增加。
从零开始快速使用comfyUI进行文生图或者图生视频制作！
2401_84760527的博客
10-08 3931
今天花时间试了试怎么用 ComfyUI，今天晚上就来介绍一下，怎么简单使用。上面是用 comfyUI 生成的视频。
Comfyui｜AnimateDiff生成动画基础使用方法
z19981的博客
06-17 2716
今天分享一个在中使Amimatediff生成动画视频的小教程。与WebUI相比，ComfyUI在生成图片的速度更快，可控性更强，且所需的显存更小。ComfyUI采用基于节点连接的工作流程，对于使用过Blender、C4D等三维软件的朋友来说应该会对它很熟悉。它并不难，使用过WebUI的朋友在使用ComfyUI时只要熟悉一下，就能很快的上手。
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 5561
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
【AI绘画】ComfyUI 完全入门：图生视频
A2421417624的博客
09-19 3917
大家好，我是每天分享AI应用的彤姐！ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具，最近发展势头特别迅猛，但是 ComfyUI 的上手门槛有点高，用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。本文继续分享 ComfyUI 的使用方法：图生视频，也就是根据图片生成视频，使用的模型是SVD。
5分钟制作丝滑的AI视频-ComfyUI+AnimateDiff
mate1357的博客
05-31 927
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。​AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
4.stable-diffusion-webui1.10.0安装动画视频（AnimateDiff）插件
xinvictory的专栏
10-10 2307
AnimateDiff插件以“效果丝滑、稳定、无闪烁”等特性，成为目前Stable diffusion中效果最好的生成动画视频插件之一。AnimateDiff，它的全称是Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning。目前主要有3个不同的版本，Stable Diffusion WebUI版本，ComfyUI版本和一个纯代码版本。
comfyui + animateDiff，花跳舞工作流，植物跳舞工作流
qq_21307687的博客
06-08 1743
此外，如本文后面提供的工作流程所示，与其他 AI 绘图软件相比，comfyUI 是视频生成的更好选择，效率更高，效果更好。主要的工作流是从原始视频中提取骨骼关节图，让AI在视频中生成相应的动作，视频中其他内容的生成则由提示词控制，因此如果绕过上面提到的controlNet节点，这个工作流自然就变成了一个文本驱动的视频生成工作流。在左上角的输入区中，根据原视频的宽高比调整视频的宽和高，建议保留其中一个值为512，修改另一个值，以保证生成的视频与原视频保持相同的比例。4.重要注意事项简介。
从零开始快速使用comfyUI进行文生图或者图生视频制作
soleiltree的博客
07-21 6841
简单介绍一下如何使用comfyUI进行文生图以及视频制作
一键生成AI动画视频？Animatediff 和 ComfyUI 更配哦！
2401_85688943的博客
06-27 1192
大家好我是极客菌！之前我分享过 Animatediff 在 WebUI 中的应用，最近不是在分享 ComfyUI 嘛，那我们也来讲讲 Animatediff 在 ComfyUI 的应用。如果从工作流和内存利用率的角度来说，Animatediff 和 ComfyUI 可能更配一些，毕竟制作动画是一个很吃内存的操作。好了，话不多说，我们开干。首先，我们需要在中下载插件，当然也可以直接导入听雨的工作流，然后在的中直接安装后续用到的工作流和模型（可以文末自行扫描获取）
做动画？Animatediff 和 ComfyUI 更配哦！
2401_84760719的博客
06-19 1979
如果从工作流和内存利用率的角度来说，Animatediff 和 ComfyUI 可能更配一些，毕竟制作动画是一个很吃内存的操作。首先，我们需要在中下载插件，当然也可以直接导入听雨的工作流，然后在的中直接安装，对于不太明白的小伙伴可以看下的上一篇文章。安装完插件以后，记得重启 ComfyUI 哦。然后把网盘中对应的模型放入指定的文件夹目录下，v2 开头的文件放入以下文件夹下。以上就是 Animatediff 在 ComfyUI 中的安装步骤了。
ComfyUI 完全入门：图生视频
z099164的博客
05-31 2595
SVD是由 Stable Diffusion 的创作者 Stability AI 公司开源发布的。SVD的全称是 Stable Video Diffusion，也就是稳定视频扩散的意思，目前最新版本是1.1。这个模型以静止图像作为条件帧，并从中生成视频，目前还不支持使用提示词引导。默认参数下生成的结果是分辨率为1024x576的25帧视频，不过ComfyUI中实测也可以生成多种分辨率和更长时长的视频。
【comfyui教程】ComfyUI 完全入门：图生视频
2401_84760527的博客
11-27 3052
ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具，最近发展势头特别迅猛，但是 ComfyUI 的上手门槛有点高，用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。本文继续分享 ComfyUI 的使用方法：图生视频，也就是根据图片生成视频，使用的模型是SVD。
ComfyUI 安装教程 Animatediff 1000张工作流分享 请收藏
赵KK的博客
01-31 2621
当我们想要构建一副脑海中的画面，我们先构思画面来书写提示词，下面我们会专门介绍关于提示词部分的书写，然后由模型解析文本，反推汉字或者文本到Clip学习，接着由U-Net端到端的生成图片，然后由VAE来上色，那么一个简单的绘画流程就完成了，这个图片由噪点逐步变为清晰的过程，我们称之为扩散。下载官方整合包到本地，解压到非C盘路径，如果你已经安装了SD，webui那真是太好了，省去了大部分的基础环境安装，解压缩文件夹。跟我们日常下载SD的插件方式一样，个人分为3种，但记住一种：只有显示了可卸载的才是成功安装的。
基于ComfyUI的AnimateDiff的使用总结
金闪闪_Li的博客
10-30 6829
AnimateDiff是一个可以对文生图模型进行动画处理的实用框架。框架的核心是将新初始化的运动模块插入到冻结的文生图模型中，从而产生多样化和个性化的动画图像。简单的说，AnimateDiff是一个可以从文本到动画的框架
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值