【本地+在线】Comfyui的基本工作流的搭建----文生图+图生图_comfyui 图生图工作流

一.(本地使用comfyui)基本模块的了解

1.1这是初始界面

1.2搭建一个基本的工作流(如果使用的是秋叶大佬的包,每次进入会自动出现该工作流)
1.2.1加载器和取样器:

加载器,鼠标右键,点击新建节点,按下图操作,出现加载器

取样器,鼠标右键,然后按下图操作

可以看到如图结果:我们将“模型“连接起来;

1.2.2clip文本编辑器

如图一:我们从正面条件那里拉出一条“线“到空白处,然后松开,会显示出图二的提示,我们选择CLIP文本编辑器就可以了,然后对负面条件进行同样的操作:

图一

图二

结果如图:注意到,我们要把对应的CLIP连接起来

1.2.3Latent和VAE解码

如图,我们从k采样器左下角的latent拉出一条“线“,然后松开鼠标,会出现图二的提示,我们点击空Latent

图一

图二

结果如下图:

Vae解码:对K采样器左侧的Latent进行拉“线“,选择Vae解码:

然后,我们要将Vae解码的VAE和我们最开始创建的加载器的VAE连起来:

1.2.4图像的预览

同样的,我们从刚刚创建的VAE上引出一条“线“,松开鼠标,然后在提示里选择预览图象即可

1.2.5最后的结果和运行

最后的结果如下图:

注:事实上,我们没有必要每次用comfyui时都来创建比这个基本骨架更加完善的工作流,你可以使用b站秋叶aaaki的comfyui整合包(点击跳转),这位大佬的整合包会在你每次启动时默认搭建好了工作流,相当方便。

点击添加提示词队列:

生成结果如下图:

(结果,在这里没有添加任何其他的插件)

1.2.6图生图的搭建

图生图事实上是在文生图的框架上进行略微的修改,修改步骤如下:

首先:右击鼠标,按照下图的操作,加载一张图片:

然后选择我们要处理的图片,同时把原来的空Latent删去(如下图):

和其他模块连接,如下图:

然后就可以开始图生图了

1.3辅助插件的了解
1.3.1翻译类的插件,可以帮助我们更好的写提示词

按照下图操作使用该插件,三种翻译插件实际上都可以用于翻译提示词,这取决于你的习惯,可以自己用用看看适不适合哦~

使用这种插件的好处之一是:在输入提示词时,可以直接输入中文,该组件会帮助翻译为英文,一种连接方式如下图:

该图中的“预览文本“和”CLIP文本编辑器“可分别由下图得到:

注:该插件的翻译有时候不尽人意,仅面向于英文可能不是很熟练的朋友

二.(本地使用comfyui) 总结

Comfyui与web-ui的不同在于comfyui允许我们更精确的控制我们所生成的图片,但是同时,comfyui更加难以上手,往往需要我们拥有相关的前提知识(基础知识)才能比较自由地去使用,上述的操作,仅仅是一个最基础的工作流,无法实现和lora等等内容一起去调节图片的生成,但是如果这个简单的comfyui的工作流的搭建让你对AIGC有了更浓厚的兴趣,更愿意去探索这片位置的领域,这篇博客也就达成了它本身的意义。

三.(从魔搭社区开始使用comfyui)在线体验

Comfyui作为AIGC的一个工具,它太大了,如果你等不及让它慢慢地下载完,也许你可以试试魔搭社区,在这里,你可以在线使用comfyui,并且它更快(也许?),免去了你等待的时间。

1.1进入魔搭社区的个人界面,找到下图显示的位置:

点击启动,会跳转到另一个界面

1.2打开comfyui

在跳转出来的界面中,按照下图的步骤创建一个Terminal

在Terminal中复制如下的代码:

git lfs install

git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git

mv kolors_test_comfyui/* ./

rm -rf kolors_test_comfyui/

mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/

mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/  

双击左栏的Comfyui,然后点击下图中红框中的标记,等待它运行完毕,

运行完毕后,复制然后进入下图中用红框框起来的地址:

这样就打开了comyui。

1.2尝试运行comfyui

我们要先加载模型,这些模型你可以在:Datawhile|魔搭社区怎么使用comfyui中找到,同时也有相应的教程,你可以在教程的对应的部分找到带lora和不带lora的模型

1.3结语

你可以在魔搭社区体验comfyui的使用,提前熟悉它的界面和使用方法

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

请添加图片描述

一、ComfyUI配置指南
  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门
  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解
  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联
  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解
  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建
  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

img

这份完整版的学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

<think>嗯,用户问的是Checkpoint大模型在文生工作流中的角色。首先,我需要明确Checkpoint模型是什么。在Stable Diffusion的语境中,Checkpoint模型应该指的是预训练好的主模型,也就是包含整个成模型权重的文件。对吧?用户可能接触过一些AI绘画工具,比如Stable Diffusion WebUI,里面需要加载不同的模型,这些模型通常以.ckpt或者.safetensors格式存在。 接下来,用户想知道Checkpoint在文生(text-to-image)和(image-to-image)中的作用。我需要分两部分解释。对于文生,Checkpoint模型负责将文本提示转换成像,理解文本中的各个元素,比如风格、物体、颜色等。不同的Checkpoint模型可能擅长不同的风格,比如写实、动漫或者艺术风格,这会影响成结果的质量和类型。 然后是,这里模型需要根据输入的像和文本提示进行修改或调整。Checkpoint模型在这里的作用是根据原内容和新的文本提示成新的像,可能改变风格、添加元素或者修复片。比如用户上传一张照片,然后通过提示词转换成油画风格,这时候Checkpoint模型就会处理这种转换。 用户可能在使用这些工具时遇到过选择不同模型的情况,比如选择官方发布的模型或者社区训练的模型,不同的Checkpoint会影响成效果。需要解释Checkpoint模型如何作为基础决定成结果的核心,以及如何影响细节、色彩和风格。 还要提到工作流中的位置,比如在Stable Diffusion中加载不同的Checkpoint是第一步,然后设置参数、输入提示词等。用户可能想知道为什么需要频繁切换模型,或者如何选择合适的模型,所以需要说明不同Checkpoint的专长。 另外,可能需要提醒用户注意模型的文件大小和来源,确保安全使用。特别是.safetensors格式是为了安全考虑,避免恶意代码。用户如果是初学者,可能对模型的选择和加载不太熟悉,这部分可以适当简单带过,但需要强调Checkpoint的重要性。 最后,总结Checkpoint模型的核心作用,强调它是成过程中的核心算法,决定了像的基础质量和风格方向。用户可能需要这样的信息来更好地理解工作流程,并做出合适的模型选择。</think>Checkpoint大模型在AI成领域(如Stable Diffusion)中是指包含完整成能力的预训练模型文件,其核心作用及工作流程如下: 一、Checkpoint模型的本质 1. 文件格式:通常为.ckpt或.safetensors格式 2. 包含内容:完整参数权重(约2-4GB),涵盖文本编码器、扩散过程、像解码器 3. 训练方式:通过数十亿文对训练,学习文本与像的映射关系 二、在文生工作流中的作用 1. 核心引擎:接收文本提示词(prompt),逐层解码成像素 2. 风格控制:不同checkpoint模型(如SD 1.5/XL、NovelAI、国风模型)决定成风格 3. 语义理解:将"星空下的古堡"等抽象描述转化为具体视觉元素 4. 细节成:控制皮肤纹理、光影效果、材质表现等微观特征 三、在工作流的特殊功能 1. 像理解:解析输入片的内容特征 2. 特征融合:将原始像元素与新prompt结合 3. 可控修改:在保留原基础上实现风格迁移/元素替换 4. 分辨率增强:配合其他组件实现高清重建 四、典型工作流示例(以Stable Diffusion为例): ``` [加载Checkpoint] → [输入prompt/上传片] → [参数设置] → [成迭代] → [输出结果] ``` 1. 模型切换:不同checkpoint会彻底改变输出效果(如真实系→二次元) 2. 兼容扩展:可作为LoRA/ControlNet等插件技术的基础模型 五、注意事项 1. 模型选择:动漫/真人/插画等专用模型需要对应checkpoint 2. 显存要求:SD 1.5需4GB+显存,SDXL需8GB+显存 3. 安全提示:建议从可信来源获取.safetensors格式模型 当前主流checkpoint模型(如SDXL 1.0)已能实现1024x1024分辨率成,配合refiner模型可进一步提升细节质量。其核心价值在于将抽象概念转化为高质量视觉表达,是AI成的算法基石。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值