comfyui视频转绘学习笔记

已于 2024-02-15 10:06:02 修改
阅读量1.9k 收藏 10
点赞数 6
CC 4.0 BY-SA版权
分类专栏： aigc与数字人 文章标签： comfy学习
于 2024-02-14 23:21:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jacke121/article/details/136117007
本文介绍了ComfyUI、AnimateDiff和相关工具如controlnet在创建流畅视频转绘工作流中的使用，包括下载模型、依赖库和具体步骤，以及如何通过AI技术实现背景控制和高精度的视频合成。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

算法方案 ComfyUI+AnimateDiff+controlnet

目录

依赖项：

楚门的ai世界

森森star

AI_空杯心_47

依赖项：

AnimateDiff for ComfyUI

需要去github下载模型

ComfyUI-Impact-Pack

git clone https://github.com/ltdrdata/ComfyUI-Impact-Pack.git

'https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite'

GitHub - comfyanonymous/ComfyUI_experiments: Some experimental custom nodes.

GitHub - codingpotato/comfyui-workflows: ComfyUI Workflows

楚门的ai世界

ComfyUI系列14：animatediff视频转绘01，从0开始搭建animatediff视频转绘工作流_哔哩哔哩_bilibili

森森star

【Comfyui教程】零基础就能掌握AI动画大神Jeery视频转绘工作流！ ComfyUI+AnimateDiff+controlnet系统教学_哔哩哔哩_bilibili

百度网盘有资料

2_3) BG Changer.json

所需数据：

1.视频导出 openpose文件夹

2.人体mask文件夹

3.hed文件夹。

AI_空杯心_47

【超丝滑视频转绘】还在用之前的sdwebui ebsynth？animatediff的丝滑程度超乎你的想像！_哔哩哔哩_bilibili

准备3份资料：

1.视频导出 openpose文件夹

2.人体mask文件夹

3.hed文件夹。

输入一张背景图，advance controlnet 背景控制

多一个遮罩节点。

animate-controlnet_checkpoint.ckpt

这个保证生成的视频和原视频差异很小。

卷疯了！12分钟学会AI动画！AnimateDiff的的系统教学和6种进阶贴士！_哔哩哔哩_bilibili
链接：https://pan.baidu.com/s/1JhJzPh6f_ssEslKErNzGMg 
ma noa2

教你零成本，免费使用comfyui复现remini爆火的黏土风格转绘（附完整教程）
细节控-AI先行者的博客
05-08 1063
在五一假期期间，一款名为Remini的AI照片编辑软件在小红书上迅速走红，其独特的“丑萌”黏土风格滤镜深受广大博主和用户的喜爱，引发了一波热潮，让人们玩得不亦乐乎。Remini软件提供的这种视觉效果虽然看起来有点“丑萌”特效，然而，正是这种独树一帜的画风，使得Remini迅速走红，其病毒式的传播效应吸引了众多用户翻出自己的旧照，加入到这场创意修图的行列中。尽管Remini提供了七天的免费会员体验，但之后使用还是需要付费的。
5分钟制作丝滑的AI视频-ComfyUI+AnimateDiff
mate1357的博客
05-31 945
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。​AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
【ComfyUI】轻松一键视频转动漫！太棒了！超强稳定视频转绘工作流，如此丝滑~!
ice829的博客
09-12 1114
视频转绘这么火的赛道下，老铁们怎么能不会呢。下面我们一起来看一看。 先看下简单转绘的6秒视频，整体耗时大概在10分钟左右，视频的转绘效果及流畅度个人还是比较满意的。
ComfyUI教程|（完整版）从零开始教你玩转ComfyUI-保姆级部署教程-手把手带你ComfyUI工作流搭建
最新发布
z19981的博客
06-04 2848
ComfyUI就像拥有一支神奇魔杖，可以轻松创造出令人惊叹的AI生成艺术。从本质上讲，ComfyUI是构建在Stable Diffusion之上的基于节点的图形用户界面(GUI)，而Stable Diffusion是一种最先进的深度学习模型，可以根据文本描述生成图像。但ComfyUI真正特别之处在于，它如何让像你这样的艺术家释放创造力，将你最疯狂的想法变为现实。想象一下有一块数字画布，你可以通过连接不同的节点来构建自己独特的图像生成工作流，每个节点代表一个特定的功能或操作。
【comfyUI】视频转绘 工作流
资深网络工程师
11-30 2491
3：设置模型 lora 如果不需要lora 则将lora设为参数=0。例如：视频为11秒，帧率为30。1：导入视频，设置尺寸。4：设置control。
ComfyUI 高级实战：极速稳定视频风格转绘
程序员，AI探索者
05-27 6486
有的同学可能还不知道 ComfyUI 是什么，我这里做一个简单的介绍。ComfyUI 是一个基于扩散模型的AI绘画创作工具，扩散模型就是大家常说的 Stable Diffusioin，简称SD。使用SD进行AI绘画的常用工具还有 Stable Diffusion WebUI，有时也简称 SD WebUI，SD WebUI入门比较简单，适合新手，但是可定制性稍微差点，使用API进行操作也有一定的难度。
AI绘画利器：Stable-Diffusion-ComfyUI保姆级教程，万字长文带你全面入手ComfyUI工作流绘画
A13531922961的博客
06-15 2364
大家好，我是设计师阿威。AI绘画在今天，已经发展到了炽手可热的地步，相比于过去，无论是从画面精细度，真实性，风格化，还是对于操作的易用性，都有了很大的提升。并且如今有众多的绘画工具可选择。今天我们主要来聊聊基于stable diffusion的！
【AI绘画】小白必看！ComfyUI 基础案例
2401_84250575的博客
04-22 1358
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
AI绘画【Stable Diffusion】工作流型ComfyUI整合包安装教程，无需网盘，急速下载！
A13531922961的博客
05-28 866
稍微了解AI绘画的朋友都知道Stable Diffusion有很多种UI界面，常见的有：窗口式界面的WebUI 和 节点式工作流的ComfyUI。 ComfyUI更加进阶一些，是一个节点式工作流的AI绘画界面，它高度可定制、自定义编辑Ai生成图片的流程。 由于官方的整合包打包方式导致依赖安装问题，部署安装比较繁琐，这里我推荐大家使用 **秋叶大神的ComfyUI整合包**
AI绘画工作流，WebUI与ComfyUI怎么选？
AA1213888的博客
07-13 1420
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
【免费下载】 ComfyUI-VideoHelperSuite：视频工作流的终极助手
gitblog_00447的博客
08-22 4543
ComfyUI-VideoHelperSuite：视频工作流的终极助手 在数字媒体处理的世界中，高效、灵活的视频工作流是每个创作者的梦想。今天，我们向您隆重推荐一款开源项目——ComfyUI-VideoHelperSuite，它将为您的视频处理任务带来前所未有的便捷与效率。 项目介绍 ComfyUI-VideoHelperSuite 是一套专为视频工作流设计的节点集合，旨在简化视频文件的加载、转换...
AI绘画进阶工具ComfyUI 傻瓜整合包安装教程！模型共享，一键安装！
A13531922962的博客
05-15 4511
ComfyUI 本体 Github 主页：https://github.com/comfyanonymous/ComfyUI （注意：访问需要科学上网）ComfyUI 和同学们熟知的 WebUI 一样，都是 Stable Diffusion 的一种用户界面，可以实现文生图、图生图、图像处理、AI 视频生成等操作。
【comfyui教程】玩转 ComfyUI 风格转绘 FLUX：探索有趣的工作流
2401_84760719的博客
12-19 1592
玩转 ComfyUI 风格转绘 FLUX：探索有趣的工作流近年来，AI绘图工具风靡一时，而 ComfyUI 则凭借强大的节点式工作流设计吸引了众多创作者。今天，我们来聊聊一个有趣的工作流——风格转绘 FLUX。它基于 ComfyUI 的 depth 和 redux 官方工作流，加上一些外部节点，能实现令人惊艳的风格转绘效果。什么是风格转绘 FLUX？风格转绘 FLUX 是一套融合深度信息与风格迁移的图像处理方法，专注于多张图片风格的融合与再创造。
【comfyui教程】用ComfyUI 将人物视频 转换 动漫风格_comfui工作流怎么将图像进行风格转换
阿道夫的博客
12-28 1431
一、对原视频进行处理（剪影）1.1 将视频界面人物放大居中。1.2 拍原视频不要运镜，有运镜的部分会影响生成效果，需要重新处理。1.3 将原始视频降为24帧，转换的动画风格一般设定为8帧。
【ComfyUI教程】FlowEdit：图像局部编辑和风格转绘！无需反演&模型无关的洗图神器
m0_56144365的博客
01-06 1519
（全套教程文末领取哈）
还在手动重绘？教你用ComfyUI+ControlNet一键替换视频中的人物与背景（一）
weixin_53293028的博客
05-29 267
AI赋能影视特效新革命：ComfyUI节点组合实现"动作捕捉+风格转绘"一站式解决方案。该技术突破传统动捕设备限制，通过VideoHelperSuite分解视频、AnimateDiff-ControlNet分析动作、SAM+GroundingDINO智能分区，结合IPAdapter+LCM快速风格迁移，支持短视频变装挑战、虚拟试衣等多场景应用。工作流创新性采用降帧处理优化效率，配合TemporalNet确保时序稳定，实现低成本专业级特效制作，为内容创作者提供从人物替换到背景重塑的全套智能
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值