DynamiCrafter ComfyUI 教程 | 对图片转视频的效果进行精细化控制

原创 已于 2024-06-06 21:08:41 修改 · 2.1k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #数据库 #人工智能 #语言模型 #图生视频 #资源上新 #官方教程

于 2024-06-03 20:07:58 首次发布

近日，由港中文、腾讯 AI Lab 联合推出的 AI 视频生成工具 DynamiCrafter 一经上线便引起了巨大反响。只需要输入一张普普通通的静态图，加上几句简单的文字引导，瞬间就能生成超逼真的动态视频，简直不要太厉害！

动图封面

静态图 + fireworks display = 过程动态图

上篇教程小贝已经带大家体验了一把 DynamiCrafter 的 WebUI 版使用方法，该方法简单易用，小白也能分分钟上手，但想要更细致地调整局部细节，WebUI 就有点局限了。

今天小贝给大家带来了 DynamiCrafter 的 ComfyUI 版使用方法，ComfyUI 基于节点式的界面和工作流，用户可以通过改变节点随心所欲地实现不同功能，能够更精细化地控制整个流程，赋予用户更高的自由度和创作空间，实现个性化定制！

但 ComfyUI DynamiCrafter 的使用门槛较高，配置过程也很复杂，用户在使用过程中还容易出现节点连接错误、内存不足、算力限制等一系列难题。

为了解决上述问题，OpenBayes平台上线了「ComfyUI DynamiCrafter 图生视频工作流」教程。该教程帮助大家提前下载模型，为用户搭建好了工作流，一键即可使用，再也不用担心节点连接错误啦！

公共教程：

最低0.47元/天 解锁文章
OpenBayes
关注
DynamiCrafter:Animating open-domain images with video diffusion priors
liguandong
08-30 810
文本嵌入通过clip构建，图像通过clip编码，主要代表语义层面的视觉内容，未能捕获图像的完整信息，为了提取更完整的信息，使用来自clip图像vit最后一层的全视觉标记，该token在条件图像生成时表现出了高保真度，为了促进与文本嵌入的对齐，即为了获得可以被去噪unet解释的上下文表征，利用一个轻量级网络P将视觉token转换为上下文表征，采用了多模态融合的Q-former架构。unet中间层与物体形状或姿态关联性更大，两端层和外观关联更大，希望图像特征将主要影响视频的外观，同时对形状施加较小的影响。
使用SVD(Stable Video Diffusion)执行视频插帧任务
沉迷单车的追风少年
10-02 2037
使用生成式模型完成视频插帧任务相比于传统的方法有很大的优势，可以完成大运动幅度和更好的流畅性插帧任务。这篇博客介绍如何用目前最流行的视频生成开源模型SVD完成视频插帧任务。
【ComfyUI进阶1】5分钟制作丝滑的AI视频-+AnimateDiff
weixin_66363548的博客
10-25 9432
用AnimateDiff Prompt Travel video-to-video搭配ComfyUI制作AI视频，效果丝滑。
ComfyUI+通义万相 Wan2.1系列生成视频教程
shykevin的博客
05-23 2280
Wan2.1 系列是阿里巴巴通义实验室推出的开源视频生成模型套件，共有 4 个模型，包括文生视频的 Wan2.1-T2V-1.3B 和 Wan2.1-T2V-14B，以及图生视频的 Wan2.1-I2V-14B在权威评测集 VBench 中，Wan2.1 以总分 86.22% 的成绩登上榜首位置，大幅领先了 Sora、Minimax、Luma、Gen3、Pika 等国内外视频生成模型具体来说，Wan2.1开源了文生视频和图生视频两种模型。
WanVideo：ComfyUI中图像到视频转换的魔法插件
2301_78150483的博客
09-11 1406
静态图像动态化：能将静态插画、图片等转换为动态视频，如使插画中的人物眨眼、物体移动、场景产生动态变化等，让静态画面“活”起来。广告与营销视频制作：输入产品图片等素材，可自动生成带转场特效等的广告视频，实现视频混剪自动化，为广告制作提供高效解决方案。文本到视频生成：结合文本提示，可根据文本内容生成相应的视频内容，适用于广告生产、动画制作等场景，比如输入一段关于故事的文本，生成对应的动画视频。双语字幕添加：可以在生成视频的过程中，添加双语字幕，并且字幕位置能够精准适配人物运动轨迹等画面元素。
从零开始快速使用comfyUI进行文生图或者图生视频制作
soleiltree的博客
07-21 8640
简单介绍一下如何使用comfyUI进行文生图以及视频制作
从零开始快速使用comfyUI进行文生图或者图生视频制作！
2401_84760527的博客
10-08 4963
今天花时间试了试怎么用 ComfyUI，今天晚上就来介绍一下，怎么简单使用。上面是用 comfyUI 生成的视频。
comfyui 文生视频
02-09
登录至 hyper.ai 平台，在「教程」页面找到名为「ComfyUI DynamiCrafter 图生视频工作流」的内容选项，并通过点击「在线运行此教程」按钮来启动相关的工作流程[^3]。 #### 构建自定义工作流 基于具体需求构建或调整...
dynamicrafter_pytorch AIGC算法模型
qq_27815483的博客
06-26 1202
该模型对Stable Diffusion进行了扩展，使其可以生成视频。在训练时采用双流图像注入（Dual-stream image injection）机制，该机制以一种上下文感知的方式继承视觉细节并提取输入图像特征。模型的整体流程是这样的，输入分别是x以及 （x中随机帧），视频x逐帧通过VAE的编码器部分获取 ，图像x_m通过编码器并Repeat后与z_t（ 扩散后得到）拼接进入Denoising U-Net，同时，由 经过CLIP image encoder以及Query transformer后得到
【AI绘画】ComfyUI 完全入门：图生视频
A2421417624的博客
09-19 4891
大家好，我是每天分享AI应用的彤姐！ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具，最近发展势头特别迅猛，但是 ComfyUI 的上手门槛有点高，用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。本文继续分享 ComfyUI 的使用方法：图生视频，也就是根据图片生成视频，使用的模型是SVD。
ComfyUI 完全入门：图生视频
z099164的博客
05-31 3311
SVD是由 Stable Diffusion 的创作者 Stability AI 公司开源发布的。SVD的全称是 Stable Video Diffusion，也就是稳定视频扩散的意思，目前最新版本是1.1。这个模型以静止图像作为条件帧，并从中生成视频，目前还不支持使用提示词引导。默认参数下生成的结果是分辨率为1024x576的25帧视频，不过ComfyUI中实测也可以生成多种分辨率和更长时长的视频。
【comfyui教程】ComfyUI 完全入门：图生视频
2401_84760527的博客
11-27 5696
ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具，最近发展势头特别迅猛，但是 ComfyUI 的上手门槛有点高，用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。本文继续分享 ComfyUI 的使用方法：图生视频，也就是根据图片生成视频，使用的模型是SVD。
ComfyUI-DynamiCrafterWrapper 使用教程
最新发布
gitblog_00351的博客
12-28 523
ComfyUI-DynamiCrafterWrapper 是一个开源项目，旨在将 DynamiCrafter 模型集成到 ComfyUI 中。通过这个包装器，用户可以在 ComfyUI 中使用 DynamiCrafter 模型，实现动画生成、帧插值和循环视频等功能。该项目为用户提供了一个易于使用的接口，以充分利用 DynamiCrafter 的强大功能。 ## 2. 项目快速启动 ### 环境
不懂ComfyUI也能像大神一样搭工作流，这个小众视频创作神器怎么还没火
2401_84760719的博客
02-17 1829
AI视频产品越来越卷了。一拖一拽、输入提示词，点击生成，便在空白画布上搭建起了一个前段时间在网上很火的Flux+图生视频的工作流。上图展示的工作流，用到了以写实逼真闻名的开源文生图Flux模型，和AI视频生成头部公司Runway的最新模型Gen-3。在过去，这个工作流需要创作者手动在不同平台之间传素材，耗费大量时间。尤其随着素材数量增加以及创作团队规模的扩大，素材管理难度也会随之提高。如今只需要打开Kaiber，点击进入新功能“Superstudio”创建画布，就可以轻松搭建自己喜欢的工作流。
没想到我还要求着AI动起来（Stable Diffusion进阶篇：ComfyUI SVD图片转视频）
2401_84760527的博客
07-17 2896
在上一篇文章中讲到了如何下载安装ComfyUI，目的就是为了今天的图片转视频，毕竟上次的Gen2让我的钱包不是很满意。当然如果完全没接触过ComfyUI或者WebUI看这期视频跟着操作也是可以的，前提是得先下载安装好本文涉及的工作流和插件，需要的朋友请扫描免费获取哦如果是已经接触过WebUI的小伙伴们来说这篇文章还是很好上手的。
AI绘画：从文字到视频的一条龙服务（Stable Diffusion进阶篇：SVD 2）
z19981的博客
07-17 1440
*（请先阅读上一篇文章进行ComfyUI的下载）在上一篇笔记中简单学习了一下Stable Video Diffusion也就是SVD的下载和基本操作，可能有些小伙伴发现了一个问题，那就是根据图片生成出来的视频看着怪怪的：前半段看着好像还可以，但是后面部分的面部就开始崩坏了。之所以会这样是因为在上篇文章生成时使用的是默认参数，没有针对图片来进行参数的调整。图片是动起来了，但是太奇怪了。而今天这篇笔记则是要简单了解一下一些进阶参数以及一些文生图生视频的内容，不然的话我担心内容太少字数都凑不够。
Luma图生视频接口接入ComfyUI后，视频生成从未如此简单
m0_74942241的博客
02-10 1478
总的来说，Luma与ComfyUI的结合让图生视频的制作变得前所未有的简单。如果你也对图生视频感兴趣，不妨尝试一下这种高效的工作流，将复杂的操作简化为可视化的步骤，实现创意与效率的双赢。希望这篇文章能帮助大家更好地理解和使用Luma图生视频接口，如果有任何问题或想法，欢迎在评论区与我交流！
ComfyUI-CogVideoXWrapper：视频生成与处理的全能解决方案
gitblog_00895的博客
04-08 1003
ComfyUI-CogVideoXWrapper 是一款开源的视频生成与处理工具，旨在为用户提供强大的视频编辑和生成能力。该项目基于 CogVideoX 模型，通过 ComfyUI 界面提供了直观的操作体验，支持文本到视频（text2vid）、图像到视频（img2vid）以及视频到视频（vid2vid）等多种生成方式，满足不同用户的需求。 ## 项目技术分析 ComfyUI-CogVideoX...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值