stable diffusion学习指南

元气树莓

已于 2024-07-22 15:42:04 修改

阅读量2.4k

点赞数 36

文章标签：人工智能

于 2024-05-22 21:54:12 首次发布

本文链接：https://blog.youkuaiyun.com/Eleanor87/article/details/139130717

版权

参考教程

元素同典：元素同典：确实不完全科学的魔导书

stable diffusion 入门：腾讯文档

文生图界面参数设置

prompt

权重

AI 对于关键词的辨识以从前到后为顺序，以逗号为分割。距离较近的词的确更容易产生关联、进行叠加，而更远的则倾向于降低互相的关联性、进而互相隔离。

前缀+“物1”+“物1的各种次要物”+“物2”+“物2的各种次要物”+“物3”+“物3各种次要物”+...

1. 括号

对于基本操作，可以以大括号、小括号、中括号调整权重。在 WEB-UI 中，小括号增加为 1.1 倍权重，中括号减弱为 0.91 倍权重(相当于除 1.1)，多次嵌套括号效果相乘。但大括号在 WEB-UI 中默认并没有用，在 NAIFU 上则会增加为 1.05 倍权重。

2. 公式（prompt:权重乘数）

外层一定是小括号而非其它括号。比如 (red hair:1.5) 将直接给 red hair 赋予 * 1.5 权重，清晰简洁，便于自己回顾和他人理解，强烈推荐。

高阶描绘

1.分步描绘

分步描绘擅长在画面初期建立引导，大幅影响后续构图或画面生成。

分步描绘的各种形式：

[from:to:step]

[from::step] (to 为空)

[:to:step] (from 为空)

[to:step] (奇怪但没问题的格式，非常不建议)

它的作用是让 prompt 在达到 step 之前被视为 from，在达到后视为 to。若是在对应位置留空则视为无对应元素。step 为大于 1 的整数时表示步数，为小于 1 的正小数时表示总步数的百分比。

比如 a girl with [green hair:red hair flower:0.2] 会在前 20% 步数被视为 a girl with green hair，在后 80% 步数被视为 a girl with red hair flower。需要注意这两个描述之间的兼容性和覆盖——在步数合适的情况下，最后形成的人物会拥有绿色头发和红色花饰，但也可能因为颜色溢出导致头发也变为红色，毕竟后 80% 没有绿色头发的限定，AI 完全可以自己理解一个随机的发色。

2.融合描绘

融合描绘擅长将两种事物混合为一起。

融合描绘的两种形式：

[A | B]

[A:w1 | B:w2]

它们还有分别对应的可无限延长版：

[A | B | C | ...]

[A:w1 | B:w2 | C:w3 | ...]

对于形如 [A | B] 的第一种，AI 将在第一步画 A、第二步画 B、第三步画 A...交替进行。而对于无限延长版，则变为第一步画 A、第二步画 B、第三步画 C...循环往复交替进行。

对于形如 [A:w1 | B:w2] 的第二种带权重版本，截至这句话被写下时仍由 NAIFU 端独占(且本语法在 NAIFU 端的中括号是不必要的)，它的实际效果不是先画 w1 步 A 然后再画 w2 步 B，虽然成品效果类似。

文字描述

1.描述框架

前缀+需要重点突出的物件/背景+人+人物特征/元素+人物动态+服饰整体+服饰细节元素+大背景+背景元素+光照效果+画风滤镜+微小辅助元素+后缀

前缀+“物1”+“物1的各种次要物”+“物2”+“物2的各种次要物”+“物3”+“物3各种次要物”+...

质量前缀+前置画风引导+前置镜头效果+前置光照效果+[带描述的主物+主物的各种次要物+镜头效果和光照]*X+全局光照效果+全局镜头效果+画风滤镜

2.emoji识别

Emoji 是单个字符，可以无视 SD 框架对它识别时的一切拆分尝试，以最短的字符长度代表出一个概念。

它的信息密度的分母是最小的，信息量与其它词相比却差不多，所以信息密度高到吓人，因而导致其准确度高到可怕。

而还因为它信息密度如此之高，它受权重影响也大得难以描述，一对小括号就能体感上产生(prompt:1.35)左右的强大效果。

想要修手？用✋或其它想要的手势。想要群像？👪屡试不爽。想要烟花背景？🎇驱散一切问题。想要难以被描绘的骷髅头骨？💀出场就是现在。铅笔画风？✏秒了。浮世绘？🎏解决。哪怕是最难凹的海盗船，也只需要一个🏴‍☠️就能展现了！甚至，只需要♿和动态模糊(motion blur)的描述，就能即时上演轮椅漂移的戏码。

想要解决一切问题？看看有没有 E M O J I 可以表达它。分类:🐵动物和自然相关的Emoji大全

Generation窗口

采样方法

采样模型sampling method

采样模型不推荐 LMS、DPM fast、LMS Karras 和 PLMS 这四个，它们的生成质量在大多数情况下相较于其它算法而言不佳。、

经典采样方法：Euler A 是兼顾速度和质量的最优之选，DPM2 A 在合理分配步数的情况下也能产生高质量作品。而 DDIM 和 Euler 则在运气较好的情况下尤其以细腻的画风见长。

笔者强烈推荐 DPM Solver 系列(DPM++ 2 系列)采样方法，尤其是 DPM++ 2S a。DPM Solver 系列算法是以相对低步数即可达到同等甚至更高出图质量的新型高阶算法，而且它们还是中国算法

采样步数sampling steps

一般称步数。并非越高越好。不开高修约30至50步够用，开高修15至25步够用。当你已经很熟练，可以无视此条。

对于非线性的method，如DPM A 和 Euler A，它们的结果并不会因为迭代增加而无休止地变得更加优秀，在大于一定的迭代值之后反而质量会快速下滑。

对于线性的method，如DDIM / Euler，它们的结果往往依托于迭代的次数。但也存在边际效应的问题，当迭代大于一定程度时，再增加迭代次数也不会让画面产生显著变化。

在实际情况中对于512 * 512 那样的标准画布与无强烈细化要求的简单场景，使用 Euler A / DDIM 等中步数要求算法的迭代次数通常推荐 30 或以上，40 或以下，而使用 DPM2 A 等高步数要求算法则往往是前者的翻倍。而使用 DPM Solver 系列则通常推荐 20 或以上，30 或以下。