Flux生态及基本工作流搭建，从最简单的学起！

可口可乐没有乐

已于 2024-12-29 18:10:56 修改

阅读量563

点赞数 3

文章标签：人工智能 stable diffusion midjourney AI作画学习

于 2024-12-19 13:56:47 首次发布

本文链接：https://blog.youkuaiyun.com/m0_59236602/article/details/144584398

版权

flux 绘画模型的出现具有里程碑意义，丝毫不亚于 sd1.5 和 SDXL 的诞生。flux 的出图质量极高，它的出现甚至迫使 midjourney 每天给予 25 张免费生图的权限！短短几天，flux的生态已经有CN\ipadapter和lora加持，为了更好的运用flux这个优质模型，所以我们今天就尝试和flux生态相关的基本工作流！

1.flux基本文生图工作流！

这份完整版的AI绘画（SD、comfyui、AI视频）整合包已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

flux工作流和sd1.5及sdxl的工作流不同，它分两种一种是直接加装checkpoint(内置vae和clip),一种是unet\vae\clip分别单独加装！

xlabs工作室近日推出了GGUF量化版模型，这个是显存在12G同学的福利！但是在加载unet的时候需要有用unet load(GGUF)代替Load diffusion model!记得下载Q4级别的！

最近还增加了对量化 T5的初始支持，可以使用各种 * CLIPLoader (gguf)节点来替代常规节点。对于 CLIP 模型，使用以前用于 CLIP 的任何模型。加载程序可以同时处理两种类型的文件！抱歉翻译软件坏了截取的都是英文！

加载量化的T5用双clip加载器，dualclip loader（GGUF),如下图，这个loader也可以加载常规的clip!

文生图的其他搭建方式这里不在赘述，想进一步学习的可以看我以前的文章！初体验，黑森林工作室，flux模型！

2.flux controlnet 工作流的搭建！

这里需要flux专用的controlnet apply和flux controlnet model加载器还有专用的Xlabs-sampler，与其controlnet condition相连接！

如下图所示！

预处理和sdxl的一致，你可以使用aux，或者单独加载例如上面图像所示的Midas depth map或者canny edge等等！不过目前flux官方只给出了depth\canny和hed！

3.flux ipadapter的搭建

同样需要flux的专用ipadapte apply和loader，这里需要ipadater模型和clip vision模型，和sd1.5及xl的ipadter一样，只是后面ipadapter高级版本用ipadapter unified loader把clip vision和ipadapter加载器放到一块了而已！