jimson_zhu的博客

今天我们聊聊如何通过SD进行室内设计装修。

你知道怎么样使用SD生成艺术二维码吗？想学啊你，我教你啊！

2）图片经过SD WebUI打tags，通过BooruDatasetTagManager工具调整tag提示词，原则：去除特殊的专一的限定词，增加公共提示词，比如纯色背景、单一背景等，增加LoRA训练目的提示词，比如锁包、项链等；3）填写图片训练目录，填写的是父目录，比如一个完整的目录“……train/suobao1/6_suobao1”，则此时填写的训练目录是：train/suobao1，训练工具会自行向下寻找训练用的素材；6）测试LoRA时，可使用xyz表脚本，多维度测试LoRA训练的效果。

今天说一个流程化出图的案例，适用很多方面。

以小巧精致的珠宝（晶莹剔透的宝石）为主题的静物场景。产品定位显眼，专业摄影师将产品置于阳光下，阳光透过珠宝（包括钻石、宝石、抛光银金属）散发出五彩斑斓的光效，构图突出产品的质感和色彩，画面色调温暖，营造出诱人的视觉吸引力，实景, 35mm, 产品图片, 时尚风格, 柔和色调, 3D 渲染, 明亮场景, 32, 摄影摄影, 超写实,立体灯光,白色地面。

2）使用混合controlnet，一个canny，一个depth（权重给低一点）；7）提示词记得带3d或3d rendering等3d渲染关键词。4）3d渲染记得去掉lineart和相关线稿LoRA；1）草稿先生成精确的线稿；5）提示词尽量生动准确；3）重绘幅度可以拉高；

从之前的博文我们已经指定Lora的申请功效，它可以实现很多模型实现不了的特定的功能。但是目前为止，我们只能下载别人的Lora使用，今天我们说说Lora怎么训练。现在让我们开启炼丹之旅！在Lora出现之前，SD进行绘图所使用的模型，都是依靠 DreamBooth（一种U-NET训练方法，擅长训练人物模型）训练的 Checkpoint 大模型。

今天的案例目标是：使用特有模型和Lora，生成高清线稿，并且给线稿上色。lets go！

2）然后选择触发三视图的Lora：，注意这里的名称都是本地重新命名的，非原来C站下载时候的名字；到此基本上算已经实现了既定目标了，但是，图片不够清晰，分辨率不高，我们之前学习的几种高清修复、缩放的方法现在就可以用上了！4）输入关键词：chibi（手办风，Q版人物），three views（或者multiple views，即多视图）。并不是我们想要的三视图结果，只是多画了几个人物而已，我们下面继续调整。

起初，你可能会先学习一个简单的模型，比如如何平衡，如何踩踏板等。然后，当你在不同的路面（比如沙地、石头路、上坡、下坡等）上骑车时，你需要对你的骑车方式进行调整，这就像是对原始模型的适应。所以，虽然你开始时学的是一个简单的骑车模型，但是通过适应，你可以在各种各样的路面上骑车。LoRA 的思想是，对于复杂的问题，我们可以找到一个简单的（低秩的）模型作为基础，然后根据我们手头的数据对这个模型进行微调（适应）。这样，我们就可以用一个简单的模型来解决复杂的问题，同时还能保证在新的数据上表现得很好。

ControlNet 的出现使得对 AI 绘画的完全控制成为现实。

重叠区默认是分块宽高的一半，即不超过 80（除非出现明显的接缝再适当增加）。这样有个好处是，每次绘制小区块时，至少有一半的区域已经绘制完成了，剩下的未绘制区域会参考已绘制区域进行绘制，确保放大后的内容在绘制时会有所关联。我们来看出图结果，可以看出，启用diffusion和vae之后，出图效果确实提升很多，画面变得清晰细腻不少，花瓣和人物细节都丰富了。重叠区越大，绘制块数会增加、绘制速度越慢、但放大后的边界越平滑。Tiled 在绘制区块的时候，并不是每次移动一个完整区块的距离的，而是仅仅移动重叠像素的距离。

选项，里面其实也存在一个图片放大（缩放）功能，而且因为它不涉及重绘的过程，所以不需要任何提示词，适用于任何图片（包括非 SD 生成的图片）。观察附加功能的输出目录（...\extras-images），我们还发现了，每选择一种放大算法，就会生成jpg和png两种格式的结果。消耗了二十几秒（测试发现，实际上是算法2所选的算法消耗了大部分时间，所以消耗时间实际与所选算法有关）。另外，这里需要强调的是，等比缩放是按比例缩放，不是分辨率缩放。见名知意，可以根据指定的分辨率进行图片的缩放。

想象一下，如果这 4 块都是刚刚好的尺寸，拼接起来后，接缝处的过渡就会很不自然，即使差一两个像素也能看到很明显的分界线，有一种撕裂感。重叠区域的大小需要根据实际情况设置：当你明显看到边界，说明重叠区太小了；但是如果这 4 块都多预留了 64 像素的边沿，像素颜色过渡就可以得到缓冲，拼接后的图像看起来会更平滑。放大的原理其实是把图像切片放大、再拼接的，重叠像素就是指切片间接驳的区域大小；选项的，因为从文生图的高清修复原理来看，不要过高，不然图片会变形；需要注意的是，图片放大前的。根据此前的网络传说选吧。

高清修复会导致生成速度变慢，建议如果没产出自己喜欢的图，先不要勾选高清修复；遇到喜欢的图之后，固定随机种子，再使用高清修复。要知道，低分辨率的图像是没有空间画细节的，高分辨率钱包又不允许，难道没有好的显卡就不配拥有高清图片吗？但是人物面部发生明显的变化，这是因为高清修复的重绘幅度大了（上面选择了0.7），将其调小一点就好。SD 是先绘制了一幅低分辨率的图像，然后在此基础上重绘高清的图像，这就很像图生图了。其实放大算法和采样算法一样，没有绝对的好坏，出来的效果其实都差不多，你需要自己去试。

我们可以看到，SD的界面第二项就是图生图了，与文生图一样的是此模式下也可以输入正面提示词和负面提示词，然后提示词下面就是图片加载框，即我们选择拿来图生图的地方，右面的话不必多说，也是图片输出结果框。然后点击生成，结果生成了Q版的图片结果（虽然质量不是太理想，后面我们学习高清修复、ControlNet和Lora等知识模块的时候再来提高图片质量）。经过上面的例子，我们对图生图有了初步的认识，后面我们还会继续结合ControlNet、Lora等模块对图生图、文生图进行进一步的讲解。这一篇来说说图生图。

上一节我们认识了SD的界面，以及尝试用文生图生成了第一幅漂亮的AI图，接下了继续认识文生图。

点击右下角一键启动即可开启AI绘画之旅。

目前AI绘画最火的当属Midjorney和Stable Diffusion，但是由于Midjourney没有开源，因此我们主要分享下Stable Diffusion，后面有望补上Midjourney教程。本节主要讲解Stable Diffusion（以下简述SD）的下载和安装。