ComfyUI-GGUF：为原生ComfyUI模型提供GGUF量化支持

ComfyUI-GGUF：为原生ComfyUI模型提供GGUF量化支持

ComfyUI-GGUF GGUF Quantization support for native ComfyUI models 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-GGUF

项目介绍

ComfyUI-GGUF 是一个开源项目，旨在为原生的 ComfyUI 模型提供 GGUF 量化支持。GGUF（Ggerganov's GPU Utilization Framework）是一种流行的模型文件格式，由 llama.cpp 项目推广。ComfyUI-GGUF 通过引入自定义节点，使得 ComfyUI 能够加载并运行采用 GGUF 格式的模型文件，从而在低性能 GPU 上也能高效运行。

项目技术分析

ComfyUI-GGUF 的核心是提供对 GGUF 格式模型文件的量化支持。量化是一种技术，通过减少模型参数的位数，来减少模型的大小和计算需求。对于常规的 UNET 模型（如 conv2d），量化可能会导致性能下降，但对于像 flux 这样的 transformer/DiT 模型，量化影响较小。这使得 ComfyUI-GGUF 成为在低端 GPU 上以较低位速率运行模型的有力工具。

ComfyUI-GGUF 还包括了一个加载量化版 T5 文本编码器的节点，以进一步节省 VRAM（视频随机访问存储器）。

项目及应用场景

ComfyUI-GGUF 的主要应用场景是优化 ComfyUI 模型在低性能 GPU 上的运行效率。以下是几个具体的应用场景：

1. 低性能 GPU 的优化：对于计算资源有限的用户，ComfyUI-GGUF 可以通过量化技术，使得模型在低性能 GPU 上运行成为可能。
2. 模型压缩：通过量化，模型文件的大小可以显著减少，便于存储和传输。
3. 快速迭代：对于需要频繁调整和测试模型的开发者，ComfyUI-GGUF 提供了一种快速加载和运行量化模型的方法。

项目特点

ComfyUI-GGUF 具有以下特点：

1. 自定义节点：项目通过自定义节点的方式集成到 ComfyUI 中，使得用户可以轻松地加载和使用 GGUF 格式的模型。
2. 量化支持：支持对模型进行量化，降低模型对硬件资源的需求。
3. 易于安装和使用：只需将项目克隆到 ComfyUI 的自定义节点文件夹，并安装相关依赖即可使用。
4. 扩展性强：项目不仅支持 UNET 模型，还支持 T5 文本编码器的量化版本。

安装

确保您的 ComfyUI 版本支持自定义操作。安装时，将项目克隆到 ComfyUI/custom_nodes 文件夹，并执行以下命令安装依赖：

git clone https://github.com/city96/ComfyUI-GGUF

在独立版本的 ComfyUI 中，可以在 ComfyUI_windows_portable 文件夹中打开命令提示符，并使用以下命令：

git clone https://github.com/city96/ComfyUI-GGUF ComfyUI/custom_nodes/ComfyUI-GGUF
.\python_embeded\python.exe -s -m pip install -r .\ComfyUI\custom_nodes\ComfyUI-GGUF\requirements.txt

使用

使用 GGUF Unet 加载器，将其放置在 bootleg 类别下。将 .gguf 模型文件放入 ComfyUI/models/unet 文件夹。

项目还提供了预量化模型，包括 flux1-dev GGUF、flux1-schnell GGUF、stable-diffusion-3.5-large GGUF 等版本，以及 t5_v1.1-xxl GGUF 编码器的量化版本。

ComfyUI-GGUF 通过为 ComfyUI 提供量化支持，使得模型在低性能 GPU 上的运行更加高效和可行。无论是模型开发者还是普通用户，都可以通过 ComfyUI-GGUF 获得更好的性能体验。

ComfyUI-GGUF GGUF Quantization support for native ComfyUI models 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-GGUF