摘要:本文介绍 WebUI 的基础文生图与图生图操作。文生图需选基础大模型和默认 VAE,填英文提示词(可借插件翻译或用提示词库),设采样方法(如 DPM++2M,Karras)、迭代步数(20~30)等参数,点击生成即可。图生图在文生图基础上增参考图,可加载图片或从文生图发送,有 CLIP 和 DeepBooru 反推提示词功能,参数多了 “同步尺寸” 和 “重绘幅度”,还可选参考图缩放方式,提示词与种子也会影响出图效果。
简单来说,文生图就是通过文字描述让webui从无到有生成一张图像,图生图就是在提供一张参考图并对参考图修改生成新的图像。
通过上文我们对web-UI的界面分区有了初步认识,本篇文章我们一起来操作,试一试如何实现基础的文生图和图生图。
1 基础文生图
文生图基本流程:模型 + 提示词 + 参数 +(插件)→ 生成图像

1.1 选择大模型和VAE

“web-UI秋叶整合包”中已经自带了一个基础大模型(这里直接使用即可,后续在大模型篇章介绍如何安装大模型),外挂VAE模型选择默认的“Automatic 自动”即可。
1.2 提示词填写
WebUI中提示词仅支持英文描述,“web-UI秋叶整合包”可安装“sd-webui-prompt-all-in-one”自动翻译插件(后续介绍插件安装方法),我们在对话框中输入中文,插件会在提示词框中自动翻译为英文。另外,该插件同时提供了提示词库,大家可以根据想要生成的图像直接选取对应提示词。

一组改善画质用的简单起手提示词案例(可直接复制使用):masterpiece, best quality,
一组通用的反向提示词案例(可直接复制使用):lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
初学阶段,起手式提示词直接照抄就可以,随着学习的不断深入,大家接触的案例越来越多,提示词作用也越来越熟悉,学习的过程中自然而然会积累相应的词组资源,后续也会讲到如何进行存储和调用。
其余想要生成的内容可以通过自行输入提示词或点击提示词库中的词条进行组合,这里我们通过提示词库点击输入一组词条:1个女孩、双马尾、紫色眼睛、连衣裙、太阳帽、欧式教堂(大家可以根据想象内容自行发挥,无需照抄!)
1.3 参数设置

采样方法:可以按照推荐参数,DPM++2M,Karras
迭代步数:20~30即可,过高容易出现图像崩坏
因为整合包自带的大模型是SD1.5版本,无法生成过大尺寸的图片,否则容易爆显存。这里建议宽度、高度都设置在1K以下,案例这里设置为768*512
总批次数:设置为4,即分4个批次生图
单批数量:按默认的1,表示每个批次同时出1张图,同一批次多张图同时生成也容易爆显存,在显卡一般的情况下,多图生成只调整总批次数即可
提示词引导系数:CFG Scale按默认7即可,过小则提示词对出图不起作用,过大也会出现与预期效果偏差过大情况
随机数种子:保持默认的“-1”,表示使用随机编号的种子
1.4 点击生成
点击生成按钮,图片展示区进行出图:


到这里就完成了一次文生图的基本流程,后续课程会对如何通过功能插件对出图内容进行控制作出讲解。
2 基础图生图
图生图是指在文生图的基础上,额外提供一张已有的图片,告诉webui参考这张提供的图片进行修改。对比文生图,图生图有基础图片打底,所以有更高的可控性,我们可以利用图生图对已有图片进行细节修复、放大、变化等。
我们先来对比一下图生图在文生图基础上的变化,可以看到模型、提示词、参数、插件等主要模块与文生图基本一致,主要变化点增加了参考图片功能,下面我们就图生图的功能做详细解读。
图生图基本流程:模型 + 正/反向提示词 + 参考图片 + 参数 + 插件 → 生成图像

2.1 图像加载方式
除了加载图像进行图生图外,也可以在文生图流程界面选择文生图所生成的一张图,点击下面按钮中的发送图片到图生图,直接进入图生图模式进行编辑。

通过选项卡进入图生图界面(无初始图片)

文生图界面点击生成图像底部的发送该图像到图生图选项卡(有初始图片)
2.2 CLIP反推&DeepBooru反推


在图生图模式下,右侧生成按钮下面多出两个功能键,主要用于反推出参考图片的提示词信息,方便用于自动生成更加精确的提示词对画面进行描述。
CLIP反推:侧重于对图像的描述,生成句子;
DeepBooru反推:侧重于对图像内容的识别,生成关键词;
我们在参考图片区上传一张图片,点击CLIP反推或DeepBooru反推,在正向提示词区域会自动生成参考图的关键词,我们再对生成的关键词进行修改调整,去除描述不准确或不相关的内容。

上图为利用DeepBooru反推自动生成的提示词直接进行图生图(重绘幅度取值较高,即与原图变化较大的情况),生成的图片元素可以看出与原图十分相似。
实际上CLIP反推、DeepBooru反推的效果都比较一般,此处我们仅做功能了解即可,我们后面还有专门的插件讲解,用于更为精准的图片提示词反推,如WD1.4标签器等。
2.3 参数调整区要点
图生图的参数调整图较文生图主要增加了“同步尺寸”及“重绘幅度”,这两个功能也几乎是图生图过程中必调的。

同步尺寸:将参考图的尺寸同步到出图的宽度、高度,即将出图尺寸设置成与参考图相同;
重绘幅度:在参考图基础上的变化程度,重绘幅度越小则越接近原图,重绘幅度越高与原图变化越大,超过一定数值则有可能由SD自由发挥。上图为一组重绘幅度递增的对比图,从0至1,可以看到重绘幅度越高,重绘图像与原图差距越大。
重绘尺寸倍数:即重绘图像的尺寸与参考图尺寸设置为倍数关系,如原图尺寸1024×1024,重绘尺寸倍数设置为2,则重绘图像尺寸为2048×2048(尺寸仅为参考,过高容易爆显存)。

2.4 参考图区域初识

参考图区域主要功能是参考图与目标图尺寸不相同时,选择尺寸缩放时的处理方式。为了明显对比缩放模式对出图的影响,这里我们先上传一张1024×512的参考图,然后图像生成尺寸设置为512×512,在参考图与目标图像尺寸相差较大的情况下来看一下不同的缩放模式会带来什么样的效果。

仅调整大小:直接对原图尺寸进行拉伸;

裁剪后缩放:按照出图尺寸对原图进行裁切,会丢失部分画面;

缩放后填充空白:按照重绘尺寸对参考图进行缩放,剩余的空间由SD参照参考图进行扩充。(扩充区域效果受重绘幅度及提示词影响,实例图中重绘设置为0.2,可以看到填充区域未生成完整图像;但是当重绘幅度调高后,与参考图的对比度也会有所变化;)

调整大小(潜空间放大):类似于拉伸效果,但是因为放大的是潜变量所以导致模糊,需调高重绘幅度才能出现正常图像。
2.5 提示词与种子对图生图的影响
下面我们以一组实例来对比提示词、种子的变化对图生图效果,方便大家了解图生图中提示词与种子对出图的影响。

无提示词、种子随机(重绘幅度到0.8时画面已与原图内容无关)

无提示词,原图种子

原图提示词,原图种子(相当于原图参数重复执行,重绘不起作用)

原图提示词,随机种子(重绘幅度拉高后,会倾向按照提示词出图)
总结:
这里分享webUI的本地整合包资源,包括秋叶官方基础版本(基础插件和必备模型)及个人自用的整合包(超全插件及模型)两个版本,大家按需下载。
两个版本均为整合包形式,无需安装,Windows系统下载打开即用。
「webui秋叶官方基础包--25G左右」https://pan.quark.cn/s/c1759b141e59
「webui全能包(内置超全插件、模型)--100G左右」https://pan.quark.cn/s/3647679a1966
欢迎正在学习comfyui等ai技术的伙伴V加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、高级工作流等资源……
致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值才是学习的实际目标。

——画青山Ai学习专栏———————————————————————————————
零基础学Webui:
https://blog.youkuaiyun.com/vip_zgx888/category_13020854.html
Comfyui基础学习与实操:
https://blog.youkuaiyun.com/vip_zgx888/category_13006170.html
comfyui功能精进与探索:
https://blog.youkuaiyun.com/vip_zgx888/category_13005478.html
系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!
—————————————————————————————————————————
796

被折叠的 条评论
为什么被折叠?



