Stable Diffusion WebUI从入门到精通（六）

最新推荐文章于 2025-06-11 10:52:50 发布
最新推荐文章于 2025-06-11 10:52:50 发布
阅读量1k 收藏 9
点赞数 20
分类专栏： stablediffusion AIGC AI绘画 文章标签： stable diffusion 人工智能 AI作画 AIGC AI绘画
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_83048197/article/details/145626002
版权

第十九部分 模型之Embeddings（文本嵌入）

** **

19.1 关于Embeddings

词嵌入模型的基本概念

词嵌入（Embeddings），又称为Textual Inversion（文本倒置），是一种将文本数据转化为向量表示的方法，使得词语在高维空间中具有一定的语义信息。通过这种向量表示，可以更好地进行文本处理和分析，特别是在自然语言处理（NLP）和生成对抗网络（GAN）中应用广泛。

Embeddings模型就像书签一样可以帮我们快速方便的从大模型这本字典里搜寻出我们特定需要呈现的词汇表达，精准的让AI知道我们所需的特定词汇的含义。Embeddings本身不包含任何信息，所以它的大小非常小，一般的格式为.pt后缀结尾。

基本原理：

  • 每个词或短语被映射到一个固定维度的向量。

  • 向量的维度通常在几十到几百之间。

  • 词嵌入可以通过预训练模型（如Word2Vec、GloVe）或在特定任务中训练来获得。

模型位置：Embeddings模型放置于WebUI文件根目录下的Embeddings文件夹内

图片

如何调用：每个Embeddings模型都有特定的词汇来激活启用它，一般在模型的说明文件中都有。

图片

示例：

以这个donaldtrump的Embeddings模型为例，我先不加入这个模型的提示词。

1man,smile,standing,outdoors,street,handsome,best quality,ultra-detailed,masterpiece,hires,8k,

图片

然后加入关键字：donaldtrump

donaldtrump,1man,smile,standing,outdoors,street,handsome,best quality,ultra-detailed,masterpiece,hires,8k,

图片

值得注意的是有些模型的关键字顺位放在靠前的位置所产生的效果会更好。

19.2 Embeddings的其他重要作用：

这类Embeddings收集了大量AI出图的错误示例，我们只需要将其添加到反向提示词中，便能一定程度避免AI生成错误的手指。比如模型EasyNegative(该模型主要针对二次元画风)、Deep Negative(该模型主要针对真实画风)。

下载地址：

https://civitai.com/models/7808?modelVersionId=9208

https://civitai.com/models/4629/deep-negative-v1x

正向提示词：1girl,close-up,portrait,hands up,Covering eyes with hands,(masterpiece:1.2),best quality,masterpiece,highres,original,extremely detailed wallpaper,perfect lighting,(extremely detailed CG:1.2),drawing,paintbrush,

反向提示词：NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs)))

图片

可以看到生成出来的手指是错误的。我们在反向提示词中加入该模型的关键词：(easynegative:1.2)，这里具体权重大家可以根据实际情况进行调试。加入该Embeddings后，便修正了错误的手指。

图片

  1. 解决AI出图手指容易出错的问题：

  2. 生成角色多视图：

    如CharTurner - Character Turnaround helper，可用于生成人物的多角度视图，非常适合产品及人物的设计。

    下载地址：

    https://civitai.com/models/3036/charturner-character-turnaround-helper-for-15-and-21

    图片

正向提示词：A character turnaround of a handsome wearing T-shirt,(charturnerv2:1.2),Multiple views of the same characterin the same outft,full body,((character sheet)),((turnaround)),(reference sheet),character concept,(masterpiece:1.2),best quality,masterpiece,highres,original,extremely detailed wallpaper,perfect lighting,(extremely detailed CG:1.2),drawing,paintbrush,

反向提示词：NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs))),(easynegative:1.2),

图片

  • 图像生成：在Stable Diffusion中，可以使用词嵌入来描述要生成的对象或概念。例如，输入“sunset over a mountain range”时，系统会将其转换为向量，并生成相应的图像。

  • 语义搜索：通过词嵌入，可以实现语义搜索，即根据语义相似度进行搜索，而不仅仅是关键词匹配。

  • 文本分类：使用词嵌入表示文本，然后输入分类模型进行分类。

    这里直接将该软件分享出来给大家吧~

    1.stable diffusion安装包

    随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

    最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

    在这里插入图片描述

    2.stable diffusion视频合集

    我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

    在这里插入图片描述

    3.stable diffusion模型下载

    stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

    在这里插入图片描述

    4.stable diffusion提示词

    提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

    在这里插入图片描述

    5.SD从0到落地实战演练

    在这里插入图片描述

    如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。

    这份完整版的stable diffusion资料我已经打包好，需要的点击下方插件，即可前往免费领取！

    img

    img

第二十部分 低秩模型（LoRA）

20.1 LoRA的基本概念

LoRA（Low-Rank Adaptation） 是一种优化生成图像的方法。它可以让图像生成模型在保持高质量的前提下，变得更高效、更快速。

在Stable Diffusion中，LoRA模型可以让AI针对更具体的形象、特征来生成图片，同时简化了生成图片的步骤，让整个过程变得更加具体和便捷。

20.2 LoRa的作用与应用简析

LoRa的作用：

精准生图：LoRA可以让图像特征生成得更为精准，虽然不如Embeddings那样轻巧，但却可以更具象化的生成你想要的目标人物或特征。

应用场景：

目前LoRA常用于游戏、电影等应用场景的人物创造，可以通过大量的训练来创造出特征鲜明的人物角色。

模型位置：LoRA模型放置于WebUI文件根目录下Models文件夹内的LoRA文件夹内

图片

如何调用：在提示词中输入lora:模型名称即可调用。例如：lora:princess_xl_v2，也有一些LoRA有固定的触发提示词，具体可以参考各LoRA的说明文件。

图片

20.3 LoRa的具体示例

我这里采用All Disney Princess XL LoRA Model结合一些二次元的大模型来生成迪士尼的人物形象。

下载地址：https://civitai.com/models/212532/all-disney-princess-xl-lora-model-from-ralph-breaks-the-internet

该LoRA模型可以生成多个人物形象，我们在正向提示词中加入lora:princess_xl_v2:0.4（*权重可以根据模型的说明文件来设定*）触发该模型并加入人物名称elsa来生成爱莎公主的形象。（你也可以输入其他形象名称）

正向提示词：cinematic photo casual elsa,<lora:princess_xl_v2:0.4>,35mm photograph,film,bokeh,professional,4k,highly detailed,

反向提示词：drawing,painting,crayon,sketch,graphite,impressionist,noisy,blurry,soft,deformed,ugly,

图片

第二十一部分 超网络（Hypernetwork）

** **

21.1 超网络的基本概念

超网络（Hypernetwork） 是一种生成网络参数的网络。简单来说，就是一个网络（超网络）用来生成另一个网络（目标网络）的参数。超网络通过预测目标网络的权重，使得目标网络在特定任务上表现得更好。

通俗点讲，超网络就像是一个“厨师”，它通过调整“配方”（即网络参数），来生成特定口味的“菜肴”（即目标网络的输出）。这样可以使目标网络更快速地适应不同的任务和数据。

22.2 Hypernetwork的作用与应用简析

Hypernetwork的作用：

Hypernetwork和LoRA类似，可以用于生成经过训练的特定特征的画面，但LoRA更针对于人物或局部的细节，而Hypernetwork更侧重于调整生成图像的整体风格，可以说Hypernetwork定义的整体画风要更精细于Checkpoint模型。

应用场景：

  1. 图像生成：

    • 在图像生成领域，超网络可以用来生成不同风格的图像。例如，生成具有特定艺术风格的图像。

  2. 自然语言处理：

    • 在自然语言处理任务中，超网络可以用来生成特定领域的语言模型参数，使得模型更适应特定领域的文本数据。

  3. 迁移学习：

    • 在迁移学习中，超网络可以用来生成目标任务的初始参数，使得模型更快适应新任务。

** **

*模型位置：*Hypernetwork模型放置于WebUI文件根目录下Models文件夹内的Hypernetwork文件夹内

图片

*如何调用：*在“设置-扩展模型”中，找到“将hypernetwork添加到提示词”的下拉菜单，选择你需要使用的hypernetwork模型，然后点击上方的保存。

图片

*20.3 **Hypernetwork**的具体示例*

我这里采用[LamaPanama] Waven Chibi Style的模型，这个模型可以将画风变成Q版，结合之前LoRA生成的爱莎来生成她Q版风格的人物形象。

下载地址：

https://civitai.com/models/4379/lamapanama-waven-chibi-style

我们所有提示词和之前的一致，仅加载了Hypernetwork模型，我们便生成了爱莎的Q版形象。

正向提示词：cinematic photo casual elsa,<lora:princess_xl_v2:0.4>,. 35mm photograph,film,bokeh,professional,4k,highly detailed,

反向提示词：drawing,painting,crayon,sketch,graphite,impressionist,noisy,blurry,soft,deformed,ugly,

图片

总结

今天我们详细介绍了Stable Diffusion中的三种重要技术：低秩模型（LoRa）、超网络（Hypernetwork）以及文本嵌入（Embeddings）。这些技术各自有其独特的功能和应用场景，能够显著提升图像生成和处理的效率与效果。

  • 理解基础概念：掌握每种技术的基本原理，有助于更好地应用这些技术。

  • 结合应用场景：根据具体需求选择合适的技术。

  • 不断实践优化：通过实际操作和不断优化，提升对这些技术的熟练度和应用效果。\

这里直接将该软件分享出来给大家吧~

1.stable diffusion安装包

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.SD从0到落地实战演练

在这里插入图片描述

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的stable diffusion资料我已经打包好，需要的点击下方插件，即可前往免费领取！

img

img

【2025 Stable Diffusion WebUI 初始入门】【3.Stable Diffusion启动器参数详解】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
04-25 626
网络配置： 可实现局域网共享， 支持自定义端口号。 调试模式： 用于快速验证界面布局，节省模型加载时间。 2. 显存优化参数 显存分级策略：根据显卡显存选择 或 ，配合 可提升30%速度。 精度控制： 可解决部分显卡生成异常问题。 3. 性能增强参数 硬件适配： 仅适用于NVIDIA 16系以上显卡。 精度权衡： 可减少显存占用，但可能导致细节损失。 二、WebUI界面深度解析 1. 主界面参数体系 （1）生成控制模块 字段名称 取值范围 功能说明 提示词（Prompt）
Stable Diffusion WebUI 汉化（中文界面）
水滴的博客
01-26 3031
首先，进入 Stable Diffusion WebUI 界面，点击【Extensions】→【Availabel】，去掉【localization】前面的勾。在搜索框中输入“chinese”，会列出所有汉化插件，我们使用【zh_CN Localization】，点击其右侧的【Install】按钮开始安装。在右侧的【Localization】中选择【zh_CN】，然后点击【Apply settings】，再点击【Reload UI】自动重启完后，点击【Settings】再次进入后，发现已经是中文界面了。
Stable Diffusion WebUI从入门到精通
z19981的博客
09-26 880
自 Stable Diffusion 发布以来，它已迅速成为图像生成领域的一大亮点。随着每个新版本的发布，模型在图像质量、生成速度、文本理解能力和应用场景等方面都取得了显著进展。从 Stable Diffusion 1.4 到最新的，这一系列模型不仅扩展了人工智能的创造力，也为各行各业提供了强大的工具。当我们在C站下载模型的时候，也可以在模型分类中看到每一种模型所基于的SD版本分类。我们在具体每一个模型的页面可以看到其所属的SD版本号。
Stable Diffusion WebUI从入门到精通（十八）
2401_83048197的博客
02-17 998
我们默认的引擎预设可以生成512-768分辨率的图片，但如果我们需要加速生成更多的尺寸，就需要进行自定义引擎的设置。在预设的下拉菜单中，我们可以看到可以选择固定尺寸或具体尺寸范围，选择尺寸便可以让TensorRT在具体某一个尺寸上进行出图速度优化，512、768、1024分别代表SD1.5、2.1、XL模型的最佳绘制尺寸。如果想要出图效率更高可以选择固定尺寸的引擎，如果想要更灵活的出图则可以选择具体范围尺寸的引擎。
Stable Diffusion WebUI从入门到精通（一）
2401_83048197的博客
02-13 1037
你是否曾经幻想过只需几次点击就能创造出令人惊叹的艺术作品？或者，想象一下，你能够输入几行文字，计算机便会自动为你生成一幅栩栩如生的图像。这并不是科幻小说中的场景，而是今天的现实！欢迎来到 Stable Diffusion WebUI 的世界，一个将图像生成的魔法带到你指尖的强大工具。在这个教程中，我们将带你踏上一段令人兴奋的旅程，从零开始掌握 Stable Diffusion WebUI 的方方面面。
Stable Diffusion WebUI从入门到精通（四）
2401_83048197的博客
02-13 1042
变分自编码器（Variational Autoencoder，VAE）是一种生成模型，属于深度学习中的无监督学习方法。VAE 通过编码器将输入数据映射到潜在空间，并通过解码器从潜在空间重建输入数据。VAE 的关键在于它引入了概率模型，使得生成的潜在变量服从某种概率分布（通常是高斯分布）。
Stable Diffusion WebUI从入门到精通（七）
2401_83048197的博客
02-14 985
是一种在图像中指定区域进行修改和修复的技术。它允许用户选择图像的某个部分进行重新绘制，而不影响图像的其他部分。这在图像修复、编辑和创作中非常有用。当我们仅仅对一张图片中的某一个部分不满意，需要修改时，我们就需要用到局部重绘功能，因为无论是你修改提示词还是其他方式都无法保证这张图重新生成还能是和原来完全一样。
Stable Diffusion WebUI从入门到精通（二十一）
2401_83048197的博客
02-17 524
过去的SD必须要在各种包罗万象的大模型之间切换来生成理想中的作品，必须通过各种插件的调试来产出自己希望的效果，这也是相比MJ来说，SD门槛高的原因，但SDXL的出现，大大降低了SD的使用门槛，让大家可以在一套大模型中直接使用简单的提示词便能生成较为理想的结果。，由于在过去的版本中，SD基础模型的训练样本尺寸为512或768，这导致在生成高分辨率图片时AI会误以为我们在生成多张图片，从而产生多人多头多肢体的现象，而SDXL的基础训练样本分辨率达到了1024，意味着可以直接生成高质量的更大尺寸的图。
24年最新Stable Diffusion WebUI从入门到精通（一）
z19981的博客
08-02 1031
第三十五部分 把SD融合进Photoshop35.1 安装和配置关于如何把SD融合进Photoshop，我们需要使用的是一个叫""的插件。项目首先你需要确保你的Photoshop版本不低于V24，并且已经在本地或者局域网内部署了Stable Diffusion WebUI。然后打开Stable Diffusion WebUI的"启用API"功能。然后搜索并安装""这个插件。然后将项目地址中下载的插件压缩包解压缩到你的Photoshoop安装目录下的Plug-ins文件夹内。
Stable Diffusion WebUI从入门到精通——提示词篇
2401_84760527的博客
07-25 2858
==第六部分：提示词(Prompt)基本概念在使用 AI 生成图像或进行自然语言处理任务时，提示词（prompts）是关键的工具。通过正确使用提示词，用户可以引导模型生成所需的内容。本部分将介绍提示词的基本概念、语法以及不同类型提示词的标准化方法。6.1 提示词的概念和基本逻辑什么是提示词？提示词是指引导 AI 模型生成特定内容的输入文本。它可以是一句话、一段话，甚至是一系列关键词，提供给模型用以理解用户的意图，从而生成相应的输出。提示词的基本逻辑。
Stable Diffusion WebUI从入门到精通（十四）
2401_83048197的博客
02-17 783
LineArt是Stable Diffusion中的一种扩展模型，旨在通过提供额外的线稿信息，控制和引导图像生成的方向。这个模型可以帮助用户将草图、线稿转换成更加详细和高质量的图像。其核心在于利用线条信息来影响扩散模型的生成过程，使得生成的图像能够准确遵循输入线稿的轮廓和细节。
Stable Diffusion WebUI 安装与运行
水滴的博客
01-19 1632
大家好，我是水滴~~本文主要介绍在各种显卡环境中，如何安装和运行 stable-diffusion-webui，包括：在 NVIDIA 显卡环境上安装、在 AMD 显卡环境上安装、在集显或小于 4G 显卡环境上安装。
Stable Diffusion WebUI 本地部署指南（Windows 11 + RTX 4060 Ti）
哈士奇是我的信仰~呜哇
06-10 1016
处理: 虚拟环境下找到 \Lib\site-packages\huggingface_hub\constants.py。进入虚拟环境后 pip install cu121-cp310-cp310-win_amd64.whl。│ └── v1-5-pruned-emaonly.safetensors # 模型文件。Hugging Face 访问不了可以去魔搭社区。重启UI 就可以选中目标模型。问题 分词器下载失败。
yolo模型精度提升策略
qq_47798402的博客
06-09 1004
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 1270
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 804
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
简繁体智能翻译软件
weixin_62784879的博客
06-09 707
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
扣子开发汽车行业智能客服示例
最新发布
brucexia的专栏
06-11 1421
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值