前沿
使用负面提示是引导StableDiffusion获得你想要的结果的另一种有效方式。与需要画遮罩的修图不同,你可以非常方便地通过文本输入使用负面提示。事实上,有些图片只能通过使用负面提示来生成!
补充:理解起来并不复杂,但实际用起来可能没你想的那么容易……特别是要用的恰到好处!看完之后你慢慢会理解这一点!
一个简单的例子
让我们尝试生成一些人类的图像。
使用Stable Diffusion v1.5模型:
Portrait photo of a man.
一个男人的肖像照片。
一个男人的肖像照片
好的,我们得到了我们期望的。不足为奇。这些人看起来有点太严肃了!让我们尝试去除他们的胡须让他们轻松些。让我们尝试提示:
Portrait photo of a man without mustache.
一个没有胡子的男人的肖像照片。
提示:一个没有胡子的男人的肖像照片
我们这里出现了问题。胡子变得更明显了!发生了什么?原因很可能是跨注意力机制没有将“without”和“mustache”关联起来或者压根就没有训练“without”这个词语!。StableDiffusion将提示理解为“男人”和“胡子”。这就是为什么你同时看到了两者。
正面和负面提示
那么,我们能做些什么来产生没有胡子的男人呢?这是Stable Diffusion无法做到的吗?答案否定的,需要使用负定提示。如果我们使用提示:
正面
Portrait photo of a man.
一个男人的肖像照片。
同时负面
mustache
胡子
我们可以产生一些没有胡子的男人了!
提示:一个男人的肖像照片。负面提示:胡须。
**负面提示的原则:如果您看到不想要的内容,请将其置于负面提示中!
补充:这个原则理解起来很简单吧……但是……
负面提示如何工作?
回想一下,在文本到图像条件化中,提示被转换为嵌入向量,然后被输入到U-Net噪声预测器中。实际上有两组嵌入向量,一组用于正向提示,另一组用于负向提示。
正向提示和负向提示地位平等。它们都有75个标记。你可以随时使用其中一个,或不使用另一个。
负向提示是在采样器中实现的,采样器负责实现反向差分。要理解负向提示的工作原理,我们首先需要理解在不使用负向提示的情况下采样是如何工作的。
无负提示的采样
在Stable Diffusion中的一个采样步骤中,算法首先通过文本提示进行有条件 采样,对图像进行轻微去噪。然后,采样器通过无条件采样对同一图像进行轻微去噪。这完全是无引导的,就像你不使用文本提示一样。注意,它仍然会扩散成一个不错的图像,像下面的篮球或酒杯,但它可以是任何东西。实际完成的扩散步骤是有条件采样和无条件采样之间的差异。这个过程会重复进行采样步骤的次数。
如果没有负提示,扩散步骤是朝着提示迈出的一步,远离随机图像
带有负面提示的采样
负面提示是通过劫持无条件采样来实现的。不使用生成随机图像的空提示,而是使用负面提示。
当使用负面提示时,扩散步骤是朝着正面提示迈出的一步,然后远离负面提示
技术上讲,正面提示会引导扩散朝着与其相关的图像,而负面提示会引导扩散远离它。请注意,StableDiffusion中的扩散发生在潜在空间,而不是图像中。图像空间中的上述图形仅用于说明过程。。
采样空间
我们来看看下面的采样空间图解。当我们使用“带胡子男人的肖像照”这个提示时,Stable
Diffusion会从所有带胡子和不带胡子男人的整个潜在空间中进行采样。你应该能得到带胡子和不带胡子男人的图片。
当添加了“mustache”这个负面提示时,“带胡子男人”的空间会被排除在外。有效地,我们实际上是在不带胡子男人的空间中进行采样。
接下来开始实际使用环节!
我将演练一些负面提示的用例,包括修改内容和修改样式。
输入负面提示
许多Stable Diffusion GUI 或 Web 服务提供负面提示。在 AUTOMATIC1111中,您可以在输入提示符的位置下方输入负面提示。
使用案例
我将介绍一些使用负面提示的示例,以便您可以了解做什么以及如何调整它。在本节中,我将使用 v1.5 基本模型,但这些技术适用于 v2 模型。
删除东西
第一个明显的用法是删除您不想在图像中看到的任何内容。假设你创作了一幅雨天巴黎的画。
雨天巴黎的画
Prompt: autumn in paris, ornate, beautiful, atmosphere, vibe, mist, smoke,
fire, chimney, rain, wet, pristine, puddles, melting, dripping, snow, creek,
lush, ice, bridge, forest, roses, flowers, by stanley artgerm lau, greg
rutkowski, thomas kindkade, alphonse mucha, loish, norman rockwell. Seed:
1923936260
提示: 巴黎的秋天, 华丽, 美丽, 大气, 共鸣, 薄雾, 烟雾, 火, 烟囱, 雨, 湿, 原始, 水坑, 融化, 滴水, 雪, 小溪,
郁郁葱葱, 冰, 桥, 森林, 玫瑰, 花朵,
作者:斯坦利·阿特格·刘、格雷格·鲁特科夫斯基、托马斯·金德卡德、阿尔方斯·穆夏、洛伊什、诺曼·洛克威尔。
你想生成另一个,但一条空荡荡的街道。您可以做的是使用相同的种子值,该值指定图像,并添加否定提示“people”。您会看到一张大多数人都被删除的图像。
添加否定提示“人”,但保持相同的提示和种子
请注意,该场景与原始场景非常相似,但不完全相同。如果你真的需要原版,你需要使用修复来煞费苦心地去除人物,同时保持场景的连贯性。
您可能已经注意到,上图中还剩下一个人。您可以通过在负面提示(people:1.3)
中添加强调来告诉稳定扩散更加努力。这告诉稳定扩散,关键字people
现在重要了30%。
在负面提示 people 中增加 30% 的权重会删除最后一个人
请记住,虽然您可以在 AUTOMATIC1111 中使用关键字强调(),但并非所有平台都普遍支持它!
补充:以上举例是非常理想的情况!实际并非如此简单!只是方便你好理解!
修改图像
您可以在Stable Diffusion使用负面提示进行细微更改。您不想删除任何内容,而是对主题进行轻微更改。
让我们处理这个基础图片:(这里开始将介绍一些不简单的原因!)
原作者范例1
Prompt: emma watson as nature magic celestial, top down pose, long hair,
soft pink and white transparent cloth, space, D&D, shiny background,
intricate, elegant, highly detailed, digital painting, artstation, concept
art, smooth, sharp focus, illustration, artgerm, bouguereau. Seed: 479804672
看起来像刮风了,头发在飘荡。让我们使用负面提示“风”来保持头发向下。
原作者范例2
但实际上是很不一样的哦!如下图:
补充:负面提示有时候可不止影响一点点!符号也有差异!(符号差异是因为标记器生成token有差异而造成的,具体请看关于StableDiffusion工作原理**
如果想让头发遮住耳朵怎么办?让我们添加具有不同强调因子的负面提示“耳朵”。以下是三个增加的重点1.3,1.6和1.9。
在所有强调数值中,耳朵更多地被头发覆盖。但当数值达到1.9时,图像的构图发生了变化。负面提示可能会强烈影响扩散过程。
让负面提示在指定步骤内运行
假如你真的想使用高权重(ear:1.9)怎么办?虽然不知道你跟耳朵有什么过节,但我有个诀窍可以告诉你。你可以先使用一个无意义的词语作为负面提示,然后在后面的采样步骤中切换到(ear:1.9)。
我们选择一个无意义的词语“the”作为无效的负面提示。你可以通过把它放入负面提示来验证它的无用性。使用它你会得到和不使用任何词语一样的图像。现在使用这个作为负向提示:
“the”
然后在第20步采样时,切换到:
(ear:1.9)
这样就可以避免在早期采样时过度去除耳朵,只在后期采样移除不需要的耳朵细节。
[the: (ear:1.9): 0.5]
由于我使用了 20 个采样步骤,the
这意味着在步骤 1 – 10 和(ear:1.9)
步骤 11-20 中使用负面提示。
这背后的原因是扩散过程在开始的步骤中是最重要的 。后面的步骤只是对细节进行更精细的调整 ,例如覆盖耳朵的头发。
仅在后面的步骤中切换到负面提示
现在,我们所取得的成就简直令人惊叹。
- 我们现在可以使用更强的强调
(ear:1.9)
,而无需更改构图。 - 我们得到的图像更接近原始图像。
- 耳朵被遮住。
补充:虽然这一些都是在最理想的情况下,但是不失为一种好的方法储备!
修改风格
负面提示不仅对修改内容有用,也可以修改样式。为什么使用负向提示来改变样式?有时在正向提示中添加太多会让模型混淆。想象一下,有人让你同时去75个地方(令牌限制),你会怎么样?但如果他们告诉你应该避开哪些地区,可能会更有帮助的。
负面提示可以告诉模型应该避开的风格,这比正面添加所有想要的样式更简单直接。有时模型看到太多正面风格会产生混淆,使用负面提示指出应避免的样式能更好地控制最终结果。
锐化
不是在正面提示中使用“sharp”、“focused”等关键词,而是可以在负面提示中使用“blurry”(模糊)。这样生成的图像确实会更加锐化。
照片逼真
使用负提示painting, cartoon
使其更像照片。
如果你想保留原来的构图,你可以尝试我之前提到的关键字切换。使用我们[the: (painting cartoon:1.9): 0.3]
得到:
它更接近原版,但增加了照片级写实主义风格。
通用负面提示
没有标准答案,有时候一个符号都可以产生巨大影响,你可以随便抄,也可以自己微调!
总结
你需要有使用负面提示词这个想法,因为它同样也可以产生巨大的影响!
请别忘记在恰当的时候积极使用它!
它更接近原版,但增加了照片级写实主义风格。
这里直接将该软件分享出来给大家吧~
1.stable diffusion安装包
随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。
最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本。
2.stable diffusion视频合集
我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。
3.stable diffusion模型下载
stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。
4.stable diffusion提示词
提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。
5.SD从0到落地实战演练
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名SD大神的正确特征了。
这份完整版的stable diffusion资料我已经打包好,需要的点击下方插件,即可前往免费领取!