使用StableDiffusion入坑AI绘画

最近使用stablediffusion软件生成ai图片，完全是一个小白在瞎摸索，想把了解到的一些东西记录下来。一方面自己当做笔记记录，另一方面分享给有需要的朋友，减少踩坑。

Stable Diffusion简单介绍

stable diffusion稳定扩散，通常被缩写成SD。它的一个主要功能是根据文字生成图片，sd首先要根据人输入的文本提示词理解人的意图，然后根据ai理解的这个意图来随机生成图片。

sd的安装可以参考这里(需要电脑满足一些硬件配置)，链接里指导安装的是一个整合包，整合包可以理解为在安装了sd之外，还同时安装了一些常用的插件。

安装后运行软件，会在本地打开一个网页，界面长这个样子。页面上有两个输入提示词的地方(提示词和反向提示词)，提示词就是你希望ai绘制什么，反向词就是你希望ai避免绘制什么。（下文用sdwebui来指代这个页面）

现在来做一个实验，提示词输入Basketball，ai会绘制出什么图形呢？会是一张篮球的照片吗？来看结果

结果是这样的，有没有一点离谱。

练习书写提示词prompt

所以第一个问题就来了，怎么让ai理解自己的意思，也就是要怎么获取合适的提示词。（你可以把提示词理解为ai自己的方言，而你需要使用这种方言才能和ai正常沟通）（sdxl模型对自然语言的支持更好一些，后面会提到）

所以开始使用sd的时候，需要想办法写出准确的提示词prompts，获取提示词有这样几个方法
1）最基本的是使用翻译工具，直接翻译词汇，我习惯使用有道翻译
1）sd的图生图页面有一个提示词插件，上面有很多提示词可以参考
1）让sd根据图片反推提示词。
在sdwebui(上面的网页)中切换到图生图界面，点击上传图片，页面上有两个反推按钮，点击后sd会根据图片生成一些提示词，可以用来参考。

1）参考其他人的提示词
另外，ai生成的图片中是包含提示词信息的，在sdwebui中切换到png图片信息，点击上传图片后就会在右边显示出绘图时候使用的提示词信息。例如我们刚才的图片，提示词是basketball

sdwebui的功能很多，有文生图，图生图，多点点，熟悉它的使用。

总之，AI绘画真正用起来还是需要掌握一些知识和技巧的，离人躺着啥都不干AI自动能把工作全部做好的时代还很遥远。sd是目前非常好用并且前景光明的一个工具了。如果大家对这方面的东西感兴趣，可以自己平时多积累知识，也或者找一些课程来看，跟课程学相对来说是比较轻松的把。
正好我最近听了知乎知学堂的「AI绘画训练营」，真的非常推荐大家来听一听。课程都是知名设计师直播，教你使用Midjourney、Stable
diffusion等专业的AI绘画工具，还总结了关键词技巧，让AI“听你的指令”出图！

下载使用lora

之后第二个问题就来了，怎么画出风格比较好看的图片。

可以下载一些lora，lora是一种小模型，你可以理解为在sd中使用的一个插件，这个插件会影响最终生成出来的图片。我习惯从bulibuli上下载lora，

在sd中添加和使用lora的方法如图（运行中添加新的模型或者lora，需要在sdwebui页面上点对应的刷新按钮即可，不需要重启软件）。（这时候本地lora是没有封面的，后面会提到，lora需要配合对应的sd模型版本）

Stable Diffusion软件目录介绍

• models/ControlNet 控制器模型存放路径
• models\Stable-diffusion sd大模型存放路径（常用的sd大模型分两个版本，sd1.5和sdxl，其中sdxl对自然语言的理解更好一些）
• models\Lora lora模型存放路径（你在上面给sd添加的lora会自动放在这个路径里，你可以下载lora蜂封面保存成和lora模型名字相同的png文件，就能在sdwebui中显示lora封面了）

控制器，一致性扩散

sd生成图片有很大的随机性，怎么让sd生成的图片满足特定条件呢？你可以使用控制器controlnet。使用controlnet通常涉及两个部分，预处理器和模型（controlnet模型），还有一些其他参数，每个控制器的参数不尽相同。
控制器分类型和版本。版本和lora一样，1.5的控制器只能在sd1.5的模型上使用，xl的控制器只能在sdxl上使用。
控制器分类型。比如openpose控制器是控制图片中人物的姿态，canny、lineart可以控制轮廓，segmentation可以控制图案在图片中的位置分布等等。

但由于AIGC刚刚爆火，网上相关内容的文章博客五花八门、良莠不齐。要么杂乱、零散、碎片化，看着看着就衔接不上了，要么内容质量太浅，学不到干货。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》，相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友，可以长按下方二维码，免费领取！

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去，那么我的使命也就完成了：

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合，通过使用AIGC工具库，能更加快速，准确的辅助我们学习AIGC

有需要的朋友，可以点击下方卡片免费领取！

精品AIGC学习书籍手册

书籍阅读永不过时，阅读AIGC经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验，结合自身案例融会贯通。

AI绘画视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，科学有趣才能更方便的学习下去。

有需要的朋友，可以长按下方二维码，免费领取！