ComfyUI官方支持Wan 2.1 视频模型!两倍提速!

该文章已生成可运行项目,

昨天介绍了 KJ 大佬在 ComfyUI 中实现的 Wan 2.1 模型,官方紧随其后也对 Wan 2.1 做了原生的支持,效果更好、速度更快。

Wan 2.1 系列的亮点

  • 支持消费级 GPU:T2V-1.3B 型号仅需 8.19 GB VRAM,几乎兼容所有消费级 GPU。它可以在大约 5 分钟内在 RTX 4090 上生成一个 4 秒的 480P 视频(无量化)。

  • 多任务:Wan 2.1 擅长文本到视频(T2V)、图像到视频(I2V)、视频编辑、文本到图像和视频到音频,推动了视频生成领域的发展。

  • 视觉文本生成:Wan 2.1 是第一个能够同时生成中文和英文文本的视频模型。

  • 强大的视频 VAE:Wan-VAE 提供卓越的效率和性能,对任意长度的 1080P 视频进行编码和解码,同时保留时间信息,使其成为视频和图像生成的理想基础。

使用方法

1. 更新 ComfyUI

首先我们要把 ComfyUI 更新到最新版本:

  • 秋叶启动器中将内核切换到最新版本。

  • 官方便携包可以在管理器内更新 ComfyUI。

  • 更新完成后,重启 ComfyUI。
2. 下载模型
大模型下载
  • 地址:https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/tree/main/split_files/diffusion_models

  • 放置路径:ComfyUI/models/diffusion_models

  • 说明:这个模型实在太大了,我这里就下载一个 1.3B 的文生视频模型作为测试。

CLIP 下载
  • 地址:https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/clip_vision/clip_vision_h.safetensors?download=true

  • 放置路径:ComfyUI/models/clip_vision

VAE 下载
  • 地址:https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/vae/wan_2.1_vae.safetensors?download=true

  • 放置路径:ComfyUI/models/vae

Text Encoders 下载
  • 地址:https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors?download=true

  • 放置路径:ComfyUI/models/text_encoders

示例工作流下载
  • 地址:请添加图片描述

  • 操作:将下载好的工作流拖入到 ComfyUI。

文生视频示例

  • 用 1.3B 的模型速度还是非常快的,在 RTX 4090 上大概一分钟。在这么小的模型上有这种效果还是很不错的。

图生视频示例

  • 来源于官网

写在最后

常用工作流已经给各位小伙伴打包好了,可以按需自取,无偿分享。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

请添加图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

本文章已经生成可运行项目
ComfyUI 中安装和部署 Wan2.1 模型需要遵循特定的步骤,包括模型文件的下载、组织以及 ComfyUI 的配置。以下是详细的部署流程: ### 下载 Wan2.1 模型文件 Wan2.1 模型包含文本编码器、扩散模型和视频解码器三个部分。可以通过 ModelScope 提供的命令下载这些模型文件[^2]: #### 文本编码器 ```bash modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/text_encoders/umt5_xxl_fp16.safetensors --local_dir ./models/text_encoders/ ``` #### 扩散模型 ```bash modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors --local_dir ./models/diffusion_models/ ``` #### 视频解码器 ```bash modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/vae/wan_2.1_vae.safetensors --local_dir ./models/vae/ ``` ### 组织模型文件 确保下载的模型文件按照以下目录结构进行组织: - **文本编码器**:`./models/text_encoders/umt5_xxl_fp16.safetensors` - **扩散模型**:`./models/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors` - **视频解码器**:`./models/vae/wan_2.1_vae.safetensors` ### 启动 ComfyUI 完成模型文件的下载和组织后,启动 ComfyUI 以加载 Wan2.1 模型。可以通过以下命令启动 ComfyUI: ```bash python main.py ``` 确保 ComfyUI 的配置文件中包含正确的模型路径,以便 ComfyUI 能够正确加载 Wan2.1 模型。 ### 配置 ComfyUI 工作流ComfyUI 中,创建一个工作流来使用 Wan2.1 模型生成视频。工作流通常包括以下几个步骤: 1. **文本输入**:提供用于生成视频的文本描述。 2. **文本编码**:使用文本编码器将文本描述转换为模型可以处理的格式。 3. **视频生成**:利用扩散模型生成视频。 4. **视频解码**:使用视频解码器将生成的视频解码为可视化的视频文件。 ### 远程调用 如果需要在远程设备上使用 Wan2.1 模型,可以通过网络服务将 ComfyUI 部署为远程服务。这通常涉及设置一个 Web 服务器,以便通过 HTTP 请求与 ComfyUI 进行交互。可以使用 Flask 或其他 Web 框架来实现这一功能。 ### 示例代码 以下是一个简单的 Python 示例,展示如何通过 HTTP 请求与远程 ComfyUI 服务进行交互: ```python import requests # 远程 ComfyUI 服务的 URL url = "http://your-comfyui-server:8188/prompt" # 生成视频的文本描述 prompt = { "prompt": "A beautiful sunset over the ocean" } # 发送 POST 请求 response = requests.post(url, json=prompt) # 处理响应 if response.status_code == 200: print("Video generated successfully") else: print("Failed to generate video") ``` ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值