Stable Diffusion是利用扩散模型进行图像生成的产品,可以支持text2image、image2image。并且由于“论文公开+代码开源”,其用户群体远大于其他 AI图像生成产品,之后小编会连续更新一些关于AI绘画的干货教程
目标 :了解入门Stable Diffusion相关背景,环境安装,插件,文生图参数,提示词等相关知识
参考:
在线体验:
dreamstudio.ai/
git地址:
github.com/AUTOMATIC1111/stable-diffusion-webui
文档:
github.com/AUTOMATIC1111/stable-diffusion-webui/wiki
论文地址:
arxiv.org/abs/2112.10752
目录:
1 环境部署
2 关于插件
3 文生图参数
4 提示词
一 环境部署
512x生图 主流显卡速度对比:
安装步骤可参考前期文章-AI绘画:搭建自己的AI绘画网站(StableDiffusion)(todo);
其他方式:
启动器一键安装(秋葉 aaaki),适合没有开发经验的同学
地址放到了文末,有需要自行提取
二 关于插件
Stable Diffusion 可配置大量插件扩展,在 webui 的“扩展”选项卡下,可安装插件
点击「加载自」后,目录会刷新。选择需要的插件点击右侧的 install 即可安装。安装完毕后,需要在右侧点击重新启动用户界面
好用插件:
https://zhuanlan.zhihu.com/p/579538165
三 文生图参数
首先不同模型所生成的图风格是会完全不一样的,在 C 站 上可以直接下载模型。具体可参照文章AI绘画:搭建自己的AI绘画网站(StableDiffusion)(todo);
参数介绍:
1 Sampler采样器: 其实就是在做图像生成的步骤,选用哪种模型(或扩散模型)
2 Sampling Steps采样步数: 其实就是扩散模型进行扩散的 step,一般设置为 20~30 以随机高斯噪声起步,向符合提示的图像一步步降噪接近。随着步数增多,可以得到对目标更小、更精确的图像。但增加步数会增加生成图像所需的时间。增加步数的边际收益递减,取决于采样器。一般开到。
3 height高度/width宽度: 生成图片的 size
4 Batch size生成批次/Batch count每批数量: 最终会生成“生成批次 x 每批数量”张图片
5 CFG Scale提示词相关性 图像与你的提示的匹配程度。增加这个值将导致图像更接近你的提示,一般开到 7~11
5 seed随机种子 种子决定模型在生成图片时涉及的所有随机性
6 Highres. fix高清修复,restore faces面部修复
如果使用高清修复,会型首先按照指定的尺寸生成一张图片,然后通过放大算法将图片分辨率扩大,以实现高清大图效果;
修复画面中人物的面部,但是非写实风格的人物开启面部修复可能导致面部崩坏
7 Aditional Networks
是一个插件,可以为模型加上一些其他结构(如 LoRA 等),关于模型训练和组合,后期详细介绍
8 ControlNet
是一个插件,可以通过输入一张图片,来控制生成结果与输入图片相似,后期详细介绍
9 Script脚本
尾部有一个脚本的选项
text2image 功能支持 4 个脚本选择
1 Prompt matris
提示词矩阵:当我们有多个提示词时,该脚本提供一个能够看不同组合效果的功能。例如我们输入"girl with skirt|gun|blue
hair"作为 prompt,其中包含 3 个提示词,且用"|"分割
2 Prompts from file or textbox
从文本框或文件载入提示词 :就是让用户能够从文件中导入提示词
3 X/Y/Z plot
X/Y/Z 图表 :针对特定 prompt,对比不同纬度的参数取不同值时的效果
4 controlnet m2m
这个是一个视频处理功能,本质上是把用户上传的视频切帧,并分别进行 image2image,最后捏成一整个新的视频
四 提示词
提示词中可以有3种方式填写
1 句子描述:可以使用描述物体的句子作为提示词。大多数情况下英文有效,也可以使用中文。勿复杂语法
2 单词标签:可以使用逗号隔开的单词作为提示词。一般使用普通常见的单词。单词的风格要和图像的整体风格搭配,勿拼写错误(donmai.us)
3Emoji:Emoji (💰👨👩🎅👼🍟🍕) 表情符号也是可以使用,可尝试下
www.emojiall.com/zh-hans
提示词模板:
1 词图PromptsTools: prompttool.com/NovelAI
2 魔咒百科词典:aitag.top/
3 finding.art:finding.art/
4 NovelAI tag生成器 :wolfchen.top/tag/
5AI魔导树:https://aimds.top/home
6 Danbooru 标签超市:https://tags.novelai.dev/
/
4 NovelAI tag生成器 :wolfchen.top/tag/
5AI魔导树:https://aimds.top/home
6 Danbooru 标签超市:https://tags.novelai.dev/
Stable Diffusion 最强提示词手册
- Stable Diffusion介绍
- OpenArt介绍
- 提示词(Prompt) 工程介绍
- …
第一章、提示词格式
- 提问引导
- 示例
- 单词的顺序
- …
有需要的朋友,可以点击下方卡片免费领取!
第二章、修饰词(Modifiers)
- Photography/摄影
- Art Mediums/艺术媒介
- Artists/艺术家
- Illustration/插图
- Emotions/情感
- Aesthetics/美学
- …
第三章、 Magic words(咒语)
- Highly detailed/高细节
- Professional/专业
- Vivid Colors/鲜艳的颜色
- Bokeh/背景虚化
- Sketch vs Painting/素描 vs 绘画
- …
第四章、Stable Diffusion参数
- Resolution/分辨率
- CFC/提词相关性
- Step count/步数
- Seed/种子
- Sampler/采样
- 反向提示词(Prompt)
第5章 img2img(图生图),in/outpainting(扩展/重绘)
- 将草图转化为专业艺术作品
- 风格转换
- lmg2lmg 变体
- Img2lmg+多个AI问题
- lmg2lmg 低强度变体
- 重绘
- 扩展/裁剪
- …
第6章 重要提示
- 词语的顺序和词语本身一样重要
- 不要忘记常规工具
- 反向提示词(Prompt)
- …
第7章 OpenArt展示
- 提示词 (Prompt)
- 案例展示
- …
篇幅有限,这里就不一一展示了,有需要的朋友可以点击下方的卡片进行领取!