[ComfyUI]:SkyReels图生视频模型,混元视频的完美补充

一、介绍

目前ComfyUI视频领域最好用的是混元视频,但是混元视频之前一直有个问题,就是图生视频一直没出来,最近我看新出的一个模型SkyReels,这个是在混元模型基础上训练的,支持在KJ大佬的混元插件里面使用,它支持图生视频。

SkyReels是昆仑万维2月18日号发布开源的,我们今天要用的是他们的图生视频的模型。

今天就来带大家体验一下效果,显存要求至少16-20G,太低的就不大行了。

二、相关安装

2.1 插件安装

这里用的是KJ大佬的混元插件

插件地址: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper

任务管理器里面搜一下

2.2 模型安装

大模型选择kijai大佬的SkyReels模型,i2v的是图生视频,有bf16和fp8两种,显存不够的下载fp8,我这里使用bf16测试。

https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main

除了最核心的这个模型外,还需要vae、clip、LLM三大模型
分别截图如下,文末网盘会全部提供

到此,模型准备就搞定了。

三、使用说明

完整工作流如下

需要调整的参数不多,图片和提示词编写即可,我设置绿色的2个节点就是需要调整的。

shyreels官方那边给出的设置建议是 544x960,97帧率。

我们先来看几个效果吧:

最后有几个注意点

目前我跑这个,一般是要6分钟才跑完2秒的图生视频,太慢了,我查了下,官方问题里面KJ有答复,说是CFG的问题

CFG可以自己调整,我最早是用官方默认的0.6,需要5-6分钟跑图,
现在改成0.1后,时间变成3-4分钟了,确实有影响,会快一些。

另外一个很关键的地方 HunyuanVideo Mdel Loader这个节点里面 attention_mode推荐使用最新的 sageattn_varlen

用 sageattn_varlen 的话,出视频速度会更快一些,质量也更好,安装这个有点小麻烦,这里说一下如何安装。

首先找到我们的 python 目录,一般就在我们的 ComfyUI 目录下,然后地址栏输入 cmd,敲回车。

除此之外,还需要安装 triton,这个稍微复杂一些,首先我们需要在以下链接中找到和我们的 python 版本对应的安装文件。

https://github.com/woct0rdho/triton-windows/releases/tag/v3.1.0-windows.post5

我这里是python310,那我们就下载对应的310文件,放到python目录下,如下图这样

然后回到我们刚才打开的 cmd 界面,输入以下的命令,敲回车进行安装。

python.exe -s -m pip install triton-3.1.0-cp310-cp310-win_amd64.whl

然后重启我们的 ComfyUI 就可以使用「sageattn_varlen」这个模式了。

四、云端镜像

大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。

目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。

今天这个数字人案例已经弄到镜像上了,欢迎体验。

镜像名称:嘟嘟AI绘画趣味学


云平台镜像地址:

https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY

https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY

新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长。

五、总结

以上就是混元视频里面图生视频的新方案了,官方目前自己没有出图生视频的,所以这个算是第三方里面效果不错的,可以用来玩的了。

AI时代,值得我们去投入时间研究。

技术的迭代是飞快的,要关注最新的消息才不会掉队。​

嘟嘟每天分享最新的ComfyUI技术前沿。​

本篇中的工作流和模型网盘链接:​https://pan.quark.cn/s/93d5a2aebb05

我是嘟嘟,专注于 AI 绘画以及 AI 工具分享,欢迎来一起交流。​

如果觉得文章有帮助,请帮忙点赞收藏关注一下呦~​

### 使用 ComfyUI 像和视频 #### 安装与配置 ComfyUI 是一个基于 Stable Diffusion 的形用户界面和后端系统,旨在简化 AI 成的工作流程[^1]。为了开始使用 ComfyUI 进行像或视频成,首先需要完成安装过程。 #### 基础操作 对于初学者来说,理解 ComfyUI 的基本概念非常重要。该平台提供了详细的教程系列,涵盖了从基础到高级的各种主题,包括但不限于选择理由、优缺点分析、下载安装指导、模型与插件管理等内容[^2]。 #### 创建像工作流 要利用 ComfyUI 成静态片,可以按照以下方式构建工作流: 1. **启动应用程序**:打开已安装好的 ComfyUI 应用程序。 2. **加载预训练模型**:通过界面上的相关选项导入所需的预训练模型文件。 3. **设置参数**:调整诸如分辨率、样式偏好等参数以满足个人需求。 4. **执行成任务**:点击运行按钮让软件根据设定条件自动成新的艺术作品。 ```python from comfyui import generate_image image = generate_image( model_path="path/to/model", resolution=(512, 512), style_preference="anime" ) ``` #### 处理视频素材 当涉及到处理动态影像时,比如将真人影片转换为动漫风格,可以通过特定的功能模块实现这一目标。这通常涉及以下几个方面的工作: - 导入源视频片段作为输入数据; - 利用内置算法逐帧应用所需效果; - 输出最终渲染后的动画版本。 具体步骤可以在专门针对此类应用场景的教学资料中找到更详尽的操作指南。 #### 高级特性探索 除了上述常规用途外,ComfyUI 还支持更多复杂场景下的创作活动,例如像重绘(Image Redrawing)、跨域迁移学习等。这些功能允许创作者突破传统边界,在不同媒介间自由穿梭创造独一无二的作品[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值