SDcomfyui图生视频SVD模型简易教学

早期的 AI 绘图或许只是作为娱乐用途而存在,但如今,AI 绘图的水平已经发展到了真假难辨的程度。众多自媒体从业者、某宝商家,就连设计公司也纷纷开始使用 AI 来取代传统设计公司、美工以及常规的作图软件。这其中的原因,除了成本降低之外,AI 还拥有几乎无穷无尽的创意生成能力,而且能够有效避免许多潜在的图片版权问题。更值得一提的是,即便是普通大众,也可以运用 AI 把自己脑海中的形象或者场景创作出来,从而在 AI 时代成为一名创作者

这里我隆重向大家推荐StableDiffusion作为学习ai绘画的载体,StableDiffusion不是一个具体的开箱即用的产品,它是一个开源的AI绘画模型,采用了最先进的深度学习技术,能够将文本转化为高质量图像,所有代码都在 GitHub 上开源,比其他软件的优势也在这里,因为开源的原因,不仅免费不说,而且具有相当巨大的用户使用群体和应用社区,各种模型以及功能强大的插件,可以说是应有尽有,任何人都可以通过免费下载并在本地电脑上进行部署,体验图像生成创作的乐趣(当然,前提是你的电脑需要一个强大的GPU)。或者您也可以使用算网云,该网站提供云端部署SD的解决方案,可以不用费时费力的在本地部署SD,毕竟sd的安装对新人来说不是太友好,网址:https://www.aicpn.cn/本教程的使用是建立在使用算网云提供的sdcomfyui flux镜像的前提下,废话少说教学开始。

今天来教大家的是SDcomfyui的中一个比较高级的功能,具体来讲是图生视频功能。

首先我们需要上传一个SVD1.1的视频模型,SVD模型模型是一个生成图像到视频的扩散模型,通过对静止图像的条件化生成短视频。模型下载的网址如下:首先使用点击jupyterLabUI上传路径为:root/ComfyUI/models/checkpoints里用上传功能将模型放置到该文件夹内。

等到下载完成后点击webui进入comfyui界面 

一开始是英文的界面,可以通过双击Switch Locale或者刷新界面的方式来将页面汉化

默认的工作流是无法使用SVD模型的,需要新建一个工作流,按清除键将原先的工作流删除。

按右键新建节点,采样器,K采样器

然后点击新建节点,加载器,视频模型,Checkpoint模型,

然后点击新建节点,点击条件,视频模型,SVD_图像到视频_条件。

还需要一个图像加载器,点击新建节点,点击图像,加载图像。

还需要一个VAE解码器,点击新建节点,Latent,VAE解码。

最后要一个预览图像,点击新增节点,图像,预览图像。

这个工作流还有一个优化的空间就是加一个CFG的缩放空间环节,点击新增节点,模型,缩放CFG,这个节点起到的作用是让图像从CLIP到VAE的时候,是视频的效果增强,优化视频的观感体验。

然后按照模型的参数推荐把相关参数设定好,帧数控制在25以内,超过会有一定概率报错,帧率选到9,CFG不能超过3,选择2,采样器选择euler_ancestral,调度器选择karras。参数就设计好了。

将其相连,具体如下:

然后工作流就配置完成了,这边建议不要使用无动作的人像,因为会有较大的概率会抢图片上下左右拉伸,使用场景图效果会好一点。具体效果如下,(他生成的是)

今天的教程到此结束,下次再来教大家sdcomfyui的其他功能。大家下次再见。

### 视频的大规模模型 #### 主流模型概述 当前,在视频领域,扩散模型成为主流技术之一。这类模型通过迭代去噪过程从噪声中逐步构建出完整的视频内容[^3]。 #### AI框架与开源项目 1. **DALLE-2** DALLE-2 是由 OpenAI 开发的一个强大的多模态模型,不仅擅长于静态片的成,还支持基于给定的一系列帧创建连贯的动画或短视频片段。尽管官方并未完全开放源码,社区内存在多个仿制版本可供探索和实验。 2. **Make-A-Video** Make-A-Video 是 Meta 发布的一款专注于将单张或多张静止像转换成动态影像的产品级解决方案。该工具利用先进的神经网络结构实现了高质量的视频合成,并且已经部分开源,允许开发者在其基础上进一步开发应用。 3. **Phenaki** Phenaki 作为另一个值得关注的研究成果,它能够在仅提供少量指导性提示的情况下成逼真的连续动作场景。此项目的独特之处在于其对于复杂时空关系的有效建模以及较低的数据需求特性,使得即使是在资源有限环境下也能高效运行。 4. **Text-to-video diffusion models (TVDiff)** TVDiff 提供了一种全新的视角来看待文本到视频的任务转化流程。不同于传统方法侧重于先成中间表示再映射至目标域的方式,TVDiff 将整个过程视为一个端到端的学习问题,从而简化了设计思路并提高了最终产出的质量。 ```python import torch from diffusers import DiffusionPipeline pipeline = DiffusionPipeline.from_pretrained('model_name') video_frames = pipeline(prompt="描述文字").frames ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值