本地部署ComfyUI并添加强大的Flux.1开源文生图模型远程制作AI图片

部署运行你感兴趣的模型镜像
文章目录
    • 前言
    • 1. 本地部署ComfyUI
    • 2. 下载 Flux.1 模型
    • 3. 下载CLIP模型
    • 4. 下载 VAE 模型
    • 5. 演示文生图
    • 6. 公网使用 Flux.1 大模型
      • 6.1 创建远程连接公网地址
    • 7. 固定远程访问公网地址
前言

本文将详细介绍如何在本地部署ComfyUI并搭建 Flux.1文生图神器,并且实现公网访问。

Flux.1 是一款免费开源的模型,性能可与Midjourney V6媲美,用户可通过Comfyui调用Flux.1。Flux.1 是由 Black Forest Labs 黑森林实验室推出的文生图模型套件,说到 Black Forest Labs 大家可能觉得陌生,它是 Stability AI 前核心成员 Robin Rombach 创立的新团队,成员也多来自 Stable Diffusion 的原始开发团队,因此具备强大的生成式模型开发能力。

Black Forest Labs 目前致力于开发和推进用于图像、视频等媒体的最先进的生成式深度学习模型,并建立新的行业标准,FLUX.1 模型套件就是该团队实现目标的第一步。

接下来需要在本地部署安装ComfyUI。

showcase.jpg

1. 本地部署ComfyUI

本篇文章测试环境:Win11专业版,8GB显存

进入到官方Github中,下载最新版ComfyUI

ComfyUI Github: GitHub - comfyanonymous/ComfyUI: The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface.
请添加图片描述

image.png

找到免安装版本

image.png

解压保存到本地打开,进入到根目录下,有 run_cpurun_nvidia_gpu
第一个是通过CPU进行解码的,第二个是通过Nvidia显卡进行解码的,速度会更快

23694ceffdf320173d0f96fcb10f5b8.png

双击打开这两个其中哪个脚本都可以,运行脚本

e700764d9b1568352ac9a732e87ebf4.png

打开一个新的浏览器输入 http://127.0.0.1:8188

可以看到进入到了ComfyUI当中,但是默认情况下是英文,需要设置成中文

659ff4e9543527493c7a67aff8ba4d8.png
下载压缩包并解压到本地

image.png

解压后,进入到根目录,把这个文件放到ComfyUI \ custom_nodes 目录中

image.png

da672591178014cd8a912801b5d7ec2.png

回到 Comfy UI 中,点击设置,选择语言为中文

659ff4e9543527493c7a67aff8ba4d8.png

b5c785585100e85db39ad30fddd5ad6.png

c59239c39be378ed7686acd06c854c7.png

2. 下载 Flux.1 模型

FLUX 模型有四个可选,FLUX.1 [dev] 、FLUX.1 [dev] fp8、FLUX.1 [schnell]、FLUX.1 [schnell] fp8;

  1. FLUX.1 [dev] :官方版本满配版,最低显存要求24G;下载地址: https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
  2. FLUX.1 [dev] fp8:大佬优化 [dev] 后版本,建议选择此版本,最低 12G 显存可跑;下载地址: https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-dev-fp8.safetensors
  3. FLUX.1 [schnell]:4步蒸馏模型,大多数显卡可跑。 下载地址: https://hf-mirror.com/black-forest-labs/FLUX.1-schnell/tree/main
  4. FLUX.1 [schnell] fp8:优化 版本,适应更低的显卡配置。下载地址: https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-schnell-fp8.safetensors

这里下载第3种,4步蒸馏模型,大多数显卡可跑。

image.png
无论下载上面的哪个模型,都存放在这个:ComfyUI/models/unet/ 目录下

5236229bf283cdc6e1ad1475ef7ac58.png

3. 下载CLIP模型

点击地址下载CLIP: https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

下载 t5xxl_fp16.safetensors 或 t5xxl_fp8_e4m3fn.safetensors (建议选择fp8 版本,如果你显存超过 32G 可选择 fp16 版本)

bc719957182cd282d7eb6aa6a282c2b.png

放入到ComfyUI/models/clip/ 目录中

image.png

4. 下载 VAE 模型

解压下载VAE模型

image.png

下载到本地后,存放至ComfyUI/models/vae/ 目录

image.png

最后回到 ComfyUI 目录,启动运行脚本

image.png

重新进入到浏览器当中 http://127.0.0.1:8188

cac0bd75b2449e164c73557076c52e8.png

5. 演示文生图

接下来需要调用模型

点击链接: Flux Examples | ComfyUI_examples (comfyanonymous.github.io)

可以看到有Flux Dev版本和Flux Schnell版本,这里和开头一样,我使用的是Flux Schnell版本

image.png

把图片保存到本地

回到 ComfyUI 当中,把图片直接拖入进去,可以看到自动加载模型

75c350698eda2771bf29c33be9a9708.png

在CLIP文本编码器当中,修改提示词(输入翻译后的英文),点击右侧添加提示词队列

如果出现报错,需要把左侧的加载器修改为fp8

image.png

77f244d3ea7cf43b0f1f8b5b249931c.png

可以看到右侧已经生成了新的图片,我们在本地成功部署了ComfyUI并搭建了 Flux.1 大模型,如果想团队协作多人使用,或者在异地其他设备使用的话就需要结合Cpolar内网穿透实现公网访问,免去了复杂得本地部署过程,只需要一个公网地址直接就可以进入到ComfyUI中来使用 Flux.1文生图。

接下来教大家如何安装Cpolar并且将 Flux.1 实现公网使用。

6. 公网使用 Flux.1 大模型

下面我们在Linux安装Cpolar内网穿透工具,通过Cpolar 转发本地端口映射的http公网地址,我们可以很容易实现远程访问,而无需自己注册域名购买云服务器.下面是安装cpolar步骤

cpolar官网地址: https://www.cpolar.com

使用一键脚本安装命令

sudo curl https://get.cpolar.sh | sudo sh


安装完成后,执行下方命令查看cpolar服务状态:(如图所示即为正常启动)

sudo systemctl status cpolar


Cpolar安装和成功启动服务后,在浏览器上输入ubuntu主机IP加9200端口即:【http://localhost:9200】访问Cpolar管理界面,使用Cpolar官网注册的账号登录,登录后即可看到cpolar web 配置界面,接下来在web 界面配置即可:

6.1 创建远程连接公网地址

登录cpolar web UI管理界面后,点击左侧仪表盘的隧道管理——创建隧道:

  • 隧道名称:可自定义,本例使用了: comfyui注意不要与已有的隧道名称重复

  • 协议:http

  • 本地地址:8188

  • 域名类型:随机域名

  • 地区:选择China Top

  • 高级:Http Auth:user:123(本例中用户名user 密码123)

点击保存

a0d48c019aced2bafd9a8f3dbaef29b.png

创建成功后,打开左侧在线隧道列表,可以看到刚刚通过创建隧道生成了两个公网地址,接下来就可以在其他电脑(异地)上,使用任意一个地址在浏览器中访问即可。

32bf5ef69347ecf3acd5baa727664ae.png

如下图所示,输入设置的用户名及密码(也可以不设置高级,就无需用户名密码直接登入,安全起见,建议配置高级)

751d9c9fc4b1fee45b8e8edd7049597.png
可以看到成功实现使用公网地址异地远程访问本地部署的Flux.1大模型!

a37ed823ff9d8d3fe716bc10a7a8e5d.png

小结

为了方便演示,我们在上边的操作过程中使用了cpolar生成的HTTP公网地址隧道,其公网地址是随机生成的。

这种随机地址的优势在于建立速度快,可以立即使用,然而,它的缺点是网址是随机生成,这个地址在24小时内会发生随机变化,更适合于临时使用。

如果有长期远程访问本地 Flux.1 或者其他本地部署的服务的需求,但又不想每天重新配置公网地址,还想地址好看又好记,那我推荐大家选择使用固定的二级子域名方式来远程访问,带宽会更快,使用cpolar在其他用途还可以保留多个子域名,支持多个cpolar在线进程。(根据cpolar套餐而定)

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

请添加图片描述

一、ComfyUI配置指南
  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

二、ComfyUI基础入门
  • 软件安装篇
  • 插件安装篇

三、 ComfyUI工作流节点/底层逻辑详解
  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

四、ComfyUI节点技巧进阶/多模型串联
  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

在这里插入图片描述

五、ComfyUI遮罩修改重绘/Inpenting模块详解
  • 图像分辨率
  • 姿势

在这里插入图片描述

六、ComfyUI超实用SDXL工作流手把手搭建
  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

在这里插入图片描述

在这里插入图片描述

这份完整版的学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

请添加图片描述

您可能感兴趣的与本文相关的镜像

ComfyUI

ComfyUI

AI应用
ComfyUI

ComfyUI是一款易于上手的工作流设计工具,具有以下特点:基于工作流节点设计,可视化工作流搭建,快速切换工作流,对显存占用小,速度快,支持多种插件,如ADetailer、Controlnet和AnimateDIFF等

<think>我们正在讨论本地部署AI文生图(Text-to-Image)的方法和步骤。结合引用内容,我们将重点介绍如何利用Stable Diffusion模型本地部署提到一些辅助工具(如ComfyUI)和远程访问方案(如Cpolar内网穿透)。以下是详细步骤: ### **核心工具选择** 1. **模型选择**: - **Stable Diffusion**:目前最流行的开源文生图模型之一,支持本地部署[^1][^3]。 - **Flux.1**:一个强大文生图模型,可通过ComfyUI部署[^2]。 2. **部署框架**: - **ComfyUI**:一个基于节点流程的Stable Diffusion图形界面,适合高级用户和可视化工作流[^3]。 - **Automatic1111 WebUI**:另一种流行的Stable Diffusion Web界面,操作更简单。 3. **远程访问工具**(可选): - **Cpolar**:内网穿透工具,实现公网访问本地部署AI工具。 --- ### **本地部署步骤(以Stable Diffusion + ComfyUI为例)** #### **1. 环境准备** - **操作系统**:Windows、macOS或Linux(本文以Windows为例,但macOS步骤类似)。 - **硬件要求**: - **显卡**:NVIDIA显卡(推荐显存≥8GB,如RTX 3060+),AMD显卡需额外配置ROCm。 - **内存**:≥16GB。 - **存储空间**:≥20GB(用于模型和依赖库)。 #### **2. 安装Python和Git** - 从[Python官网](https://www.python.org/downloads/)下载Python 3.10(Stable Diffusion兼容版本)。 - 安装Git:[Git官网](https://git-scm.com/downloads)。 #### **3. 部署ComfyUI** ```bash # 克隆ComfyUI仓库 git clone https://github.com/comfyanonymous/ComfyUI cd ComfyUI # 安装依赖(建议使用虚拟环境) python -m venv venv venv\Scripts\activate # Windows # macOS/Linux: source venv/bin/activate pip install -r requirements.txt ``` #### **4. 下载模型** - 从Hugging Face下载Stable Diffusion模型(如`sd_xl_base_1.0.safetensors`)或Flux.1模型。 - 将模型文件放入: ``` ComfyUI/models/checkpoints/ ``` #### **5. 启动ComfyUI** ```bash python main.py ``` - 访问 `http://localhost:8188` 即可使用。 #### **6. 生成图像** 1.ComfyUI界面拖拽节点构建工作流(或加载默认工作流)。 2. 输入提示词(如“一只穿着宇航服的柴犬”)。 3. 点击运行生成图像。 --- ### **进阶功能** #### **1. 远程访问(团队协作/异地使用)** - 使用Cpolar创建公网链接[^2]: 1. 下载安装[Cpolar](https://www.cpolar.com/)。 2. 创建隧道映射本地端口: ```bash cpolar http 8188 # 将ComfyUI端口8188暴露到公网 ``` 3. 获取公网URL(如`https://a1b2c3.cpolar.cloud`),分享给团队成员。 #### **2. 性能优化** - **显卡加速**: - NVIDIA:启用CUDA(安装最新驱动和CUDA Toolkit)。 - AMD:配置ROCm(Linux)或使用DirectML(Windows)。 - **模型量化**:使用8bit或4bit量化模型减少显存占用。 #### **3. 其他模型扩展** - 下载LoRA、ControlNet等扩展模型,放入对应文件夹: ``` ComfyUI/models/loras/ # LoRA模型 ComfyUI/models/controlnet/ # ControlNet模型 ``` --- ### **常见问题解决** 1. **生成速度慢** - 降低图像分辨率(如512×512 → 256×256)。 - 使用更小的模型(如`stable-diffusion-2.1-base`)。 2. **显存不足(Out of Memory)** - 启用`--medvram`或`--lowvram`启动参数: ```bash python main.py --medvram ``` 3. **中文提示词效果差** - 使用英文提示词(模型对英文理解更好)。 - 或使用翻译插件(如集成DeepL API)。 --- ### **本地部署的优势** | 优势 | 说明 | |---------------|----------------------------------------------------------------------| | **完全免费** | 无订阅费用、无生成次数限制[^1] | | **数据隐私** | 所有数据(文本/图像)仅在本地处理 | | **离线使用** | 无网络环境下仍可生成图像 | | **自定义扩展**| 自由添加模型、插件,满足个性化需求 | --- ### 相关问题 1. 如何在MacBook M1/M2上部署Stable Diffusion? 2. 如何解决ComfyUI启动时的依赖冲突? 3. 如何训练自定义LoRA模型集成到ComfyUI? 4. 文生图模型的版权风险有哪些注意事项? > 引用说明: > - 本地部署文生图工具的优势与模型选择[^1] > - ComfyUI部署Flux.1模型集成方法 > - Stable Diffusion 3.5本地部署远程访问方案 </think> ### 本地部署 AI 文生图方法与步骤 以下是在 Mac 本地部署文生AI 工具的完整流程,结合引用内容和最佳实践,确保高效、安全、免费使用: --- ### **核心工具选择** 1. **文生图模型** - **Stable Diffusion**:开源首选,推荐版本 XL 或 3.5 - **Flux.1**:专为 ComfyUI 优化的高性能模型 2. **部署框架** - **ComfyUI**:可视化节点式工作流工具,灵活高效[^3] - **Automatic1111 WebUI**:经典易用的备选方案 --- ### **部署步骤** #### **1. 基础环境准备** ```bash # 安装 Homebrew(包管理器) /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" # 安装 Python 和 Git brew install python@3.10 git ``` #### **2. 部署 ComfyUI(推荐方案)** ```bash # 克隆仓库 git clone https://github.com/comfyanonymous/ComfyUI cd ComfyUI # 创建虚拟环境 python -m venv venv source venv/bin/activate # 安装依赖 pip install torch torchvision torchaudio pip install -r requirements.txt ``` #### **3. 下载模型权重** 1. **Stable Diffusion 3.5**: [Hugging Face 官方下载](https://huggingface.co/stabilityai/stable-diffusion-3-medium) 2. **Flux.1 模型**: [CivitAI 下载页面](https://civitai.com/models/302574/flux1) ```bash # 模型存放路径 mkdir -p ComfyUI/models/checkpoints mv ~/Downloads/flux1.safetensors ComfyUI/models/checkpoints/ ``` #### **4. 启动服务** ```bash # 启动 ComfyUI(默认端口 8188) python main.py --listen # 浏览器访问 open http://localhost:8188 ``` ![ComfyUI 工作流界面](https://example.com/comfyui-demo.jpg)*节点式工作流界面(示意图)* #### **5. 生成第一张图片** 1.ComfyUI 界面拖拽构建工作流: `文本输入 → 提示词工程 → 模型加载 → 图像生成` 2. 输入提示词(示例): ```text 赛博朋克风格的城市夜景,霓虹灯光,雨中的全息投影,未来主义建筑 ``` 3. 点击运行生成图像 --- ### **高级功能扩展** #### **1. 远程访问(团队协作)** 使用内网穿透工具 **Cpolar**[^2]: ```bash # 安装 Cpolar brew install cpolar # 创建隧道 cpolar http 8188 ``` 生成公网地址如:`https://a1b2c3.r6.cpolar.top` 可分享给团队成员 #### **2. 性能优化技巧** - **显卡加速**(Apple Silicon): ```bash PYTORCH_ENABLE_MPS_FALLBACK=1 python main.py ``` - **量化模型**:使用 8-bit 或 4-bit 模型降低显存占用 - **离线缓存**:首次下载后模型永久本地存储[^1] --- ### **本地部署优势** | 特性 | 本地部署 | 在线服务 | |---------------|------------------------|-----------------------| | **费用** | 永久免费 | 订阅制/按次收费 | | **隐私** | 数据永不离开本地 | 存在泄露风险 | | **延迟** | 50-200ms(无网络延迟) | 500ms-2s | | **自定义** | 任意修改模型/插件 | 功能受限 | --- ### **常见问题解决** 1. **模型加载失败** - 检查模型路径:`ComfyUI/models/checkpoints/` - 验证文件完整性:下载 `.safetensors` 格式更安全 2. **Apple Silicon GPU 未启用** 启动命令添加环境变量: ```bash PYTORCH_MPS_HIGH_WATERMARK_RATIO=0.0 python main.py ``` 3. **提示词效果不佳** 使用中文提示词模板: ```text [主题],[艺术风格],[细节描述],[画质参数] # 示例:星空下的城堡,梵高风格,厚重的油彩笔触,8K高清 ``` --- ### 相关问题 1. 如何在 M1/M2 Mac 上优化 Stable Diffusion 生成速度? 2. 本地部署文生图模型是否存在版权风险? 3. ComfyUI 工作流如何实现多图混合生成? 4. 没有独立显卡的 Intel Mac 能否运行 Flux.1 模型? > 引用说明: > - 本地部署的优势与模型选择 > - ComfyUI 部署Flux.1 集成 > - Stable Diffusion 3.5 本地部署方案
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值