一、介绍
目前ComfyUI视频领域最好用的是混元视频,但是混元视频之前一直有个问题,就是图生视频一直没出来,最近我看新出的一个模型SkyReels,这个是在混元模型基础上训练的,支持在KJ大佬的混元插件里面使用,它支持图生视频。
SkyReels是昆仑万维2月18日号发布开源的,我们今天要用的是他们的图生视频的模型。
今天就来带大家体验一下效果,显存要求至少16-20G,太低的就不大行了。
二、相关安装
2.1 插件安装
这里用的是KJ大佬的混元插件
插件地址: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
任务管理器里面搜一下
2.2 模型安装
大模型选择kijai大佬的SkyReels模型,i2v的是图生视频,有bf16和fp8两种,显存不够的下载fp8,我这里使用bf16测试。
https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main
除了最核心的这个模型外,还需要vae、clip、LLM三大模型
分别截图如下,文末网盘会全部提供
到此,模型准备就搞定了。
三、使用说明
完整工作流如下
需要调整的参数不多,图片和提示词编写即可,我设置绿色的2个节点就是需要调整的。
shyreels官方那边给出的设置建议是 544x960,97帧率。
我们先来看几个效果吧:
最后有几个注意点
目前我跑这个,一般是要6分钟才跑完2秒的图生视频,太慢了,我查了下,官方问题里面KJ有答复,说是CFG的问题
CFG可以自己调整,我最早是用官方默认的0.6,需要5-6分钟跑图,
现在改成0.1后,时间变成3-4分钟了,确实有影响,会快一些。
另外一个很关键的地方 HunyuanVideo Mdel Loader这个节点里面 attention_mode推荐使用最新的 sageattn_varlen
用 sageattn_varlen 的话,出视频速度会更快一些,质量也更好,安装这个有点小麻烦,这里说一下如何安装。
首先找到我们的 python 目录,一般就在我们的 ComfyUI 目录下,然后地址栏输入 cmd,敲回车。
除此之外,还需要安装 triton,这个稍微复杂一些,首先我们需要在以下链接中找到和我们的 python 版本对应的安装文件。
https://github.com/woct0rdho/triton-windows/releases/tag/v3.1.0-windows.post5
我这里是python310,那我们就下载对应的310文件,放到python目录下,如下图这样
然后回到我们刚才打开的 cmd 界面,输入以下的命令,敲回车进行安装。
python.exe -s -m pip install triton-3.1.0-cp310-cp310-win_amd64.whl
然后重启我们的 ComfyUI 就可以使用「sageattn_varlen」这个模式了。
四、云端镜像
大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。
目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。
今天这个数字人案例已经弄到镜像上了,欢迎体验。
镜像名称:嘟嘟AI绘画趣味学
云平台镜像地址:
https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY
https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY
新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长。
五、总结
以上就是混元视频里面图生视频的新方案了,官方目前自己没有出图生视频的,所以这个算是第三方里面效果不错的,可以用来玩的了。
AI时代,值得我们去投入时间研究。
技术的迭代是飞快的,要关注最新的消息才不会掉队。
嘟嘟每天分享最新的ComfyUI技术前沿。
本篇中的工作流和模型网盘链接:https://pan.quark.cn/s/93d5a2aebb05
我是嘟嘟,专注于 AI 绘画以及 AI 工具分享,欢迎来一起交流。
如果觉得文章有帮助,请帮忙点赞收藏关注一下呦~