unity尧明的博客

审问或字幕可以帮助我们完善我们所使用的提示，让我们能够看到人工智能系统是如何标记和分类的，以及它使用了哪些术语。通过观察这些，我们可以进一步完善我们的图像，以达到我们心目中的概念，或者通过负面提示将其删除。我们需要这样做的主要原因是 “偏见”，这是人工智能模型固有的挑战。在训练人工智能模型时，我们希望将偏差降到最低，但由于我们使用的术语具有主观性，偏差就会悄然出现。当我们使用一个负面提示的术语时，例如 “丑陋”，我们就注入了自己的偏见，并可能限制我们想要的 "粗犷性格 "的可变性。

因此，问题来了，如果我想根据模型本身的输出创建一个角色，这样我就有一个 100% 独特的虚构角色来开发一个角色，使用我自己的角色描述，我该如何实现那？您应该期望图像上显示一些帧边缘，因为 SD 是 AI 并且输出是不可预测的，它不会是像素完美的，但您应该在下一阶段的分割过程中获得“足够接近”的输出，以便根据我们的内容创建 LoRA有。请记住，我们是在与人工智能打交道，因此输出结果会有所不同，但通过上述方法，我们可以告诉它我们想要什么，并为它提供最好的保护，以获得最接近我们想要的结果。

CLIP（对比语言-图像预训练）是一种将视觉概念映射到自然语言的神经网络。CLIP 模型使用大量图像和标题对进行训练。给定图像，CLIP 模型可以推断出描述该图像的标题。在我们的用例中，您使用标题作为提示。

要回答这个问题，我们得从相关的 Consistency Model 一致性模型（CM）说起。CM 是一类新型扩散模型，经过训练可一步生成图像。它是 Yang Song 等人在一致性模型一文中提出的。潜在一致性模型(LCM) 在潜在扩散模型中应用了相同的思想，例如Stable Diffusion，其中图像去噪发生在潜在空间中。通常，您需要为每个自定义检查点模型训练一个新的LCM，使用起来很不方便。LCM-LoRA 是使用一致性方法通过稳定扩散基础模型（v1.5 和 SDXL）训练的 LoRA 模型。

SDXL 模型是经过微调的模型，经过训练可一步生成清晰的图像。如果 Stability AI 能够提供 Turbo 的 LoRA 版本那就太好了。我不确定技术障碍是什么，但如果可行的话，我们可以对任何 SDXL 模型进行一步操作！同样，训练 1024×1024 版本也很棒。SDXL 模型的部分吸引力在于更高的图像分辨率。SDXL Turbo 模型解决了这个问题。无法使用负面提示是一个缺陷。这极大地限制了模型的功能。

Automatic1111 是Stable Diffusion的标志性前端，具有用户友好的设置，已让数百万人享受到人工智能艺术的乐趣。任何人都可以启动 A1111 pod 并开始生成图像，无需任何经验或培训。选项的布局都很直观，您只需单击“Generate”按钮即可开始。

如果您有兴趣使用Fast Stable Diffusion template，这篇博文将指导您完成整个过程。首先，需要注意的是，快速稳定模板与加密卷不兼容，因此在开始之前请记住这一点。Fast Stable 模板是 RunPod 打包的用于稳定扩散的模板，但需要注意的是，Runpod 团队并不维护该模板的代码。我们只是将其封装起来，以便您更方便地使用。

我们已经通过调整关键字强度、添加否定关键字和混合关键字来控制图像生成的技术。这些是塑造您的形象的宝贵工具。希望您发现这些技术很有用。在下一篇文章中，我将介绍如何通过修复重新绘制图像区域。敬请关注！

你把你不想看到的东西放在负面提示中。它为您提供了另一种控制文本到图像生成的方法。许多人将其视为 Stable Diffusion v1.5 中的可选功能。随着 Stable Diffusion v2 的发布，情况发生了变化。负面提示变得不可或缺。在这篇文章中，我将介绍一些负面提示的用例，包括修改内容和样式。然后，我将演示 v2 模型中负面提示的重要性。我将演示如何搜索。

负面提示是推动稳定扩散给你想要的东西的另一种方式。与需要绘制蒙版的不同，您可以使用负面提示并享受文本输入的所有便利。事实上，有些图像只能通过使用否定提示来生成。在本文中，我们将回顾一个使用负面提示的简单示例。然后，您将了解负面提示如何在稳定扩散中发挥作用。这是关于使用负面提示的两部分系列的第一部分。，了解构建良好负面提示的指南。

ControlNet 是一种用于控制Stable Diffusion模型的神经网络模型。您可以将 ControlNet 与任何稳定扩散模型一起使用。使用Stable Diffusion模型的最基本形式是文本到图像。它使用文本提示作为指导图像生成的条件，以便您生成与文本提示匹配的图像。除了文本提示之外，ControlNet 还添加了一项条件。ControlNet 中的额外调节可以采取多种形式。让我向您展示 ControlNet 功能的两个示例：通过 (1) 边缘检测和 (2) 人体姿势检测控制图像生成。

超网络是由 Stable Diffusion 的早期采用者Novel AI开发的一种微调技术。它是一个附加到稳定扩散模型的小型神经网络，用于修改其风格。小型超网络插入哪里？当然，它是 Stable Diffusion 模型中最关键的部分：噪声预测器 UNet 的交叉注意力模块。LoRA 模型类似地修改了稳定扩散模型的这一部分，但方式不同。超网络通常是一个简单的神经网络：具有丢失和激活功能的完全连接的线性网络。就像您在神经网络入门课程中学习的内容一样。

训练人工智能模型需要大量时间，并且可能需要使用数百甚至数千个显卡（通常在数据中心）一起工作才能完成任务。作为从头开始训练新模型或微调现有模型所有参数的替代方案，LoRA 被引入。LoRA 是“Low-Rank Adaptation”的缩写，是一种使用更小的参数集微调模型的方法，并且不会从根本上改变底层模型。与传统的微调相比，这只需一小部分所需的资源即可进行微调。今天，我们将在训练 LoRA 与 Stable Diffusion 一起使用时探索各种专业显卡的性能。

开发和微调人工智能模型可能是一个资源密集型过程，通常需要在大型数据中心中协同工作的大量强大显卡。从头开始训练新模型或调整现有模型所有参数的另一种方法称为Low-Rank Adaptation低阶适应 (LoRA)。LoRA 涉及通过显着减少的参数组来微调模型，从而实现更高效的过程，并且只需要以前所需资源的一小部分。正如我们在最近的文章中所承诺的那样，我们比较了各种专业级 GPU 的性能，我们继续进行 LoRA 测试，这次重点关注一些消费级 GPU。

Stable Diffusion v1.4 是由 stability.ai 开发的令人印象深刻的文本到图像扩散模型。通过利用扩散过程的原理，Stable Diffusion v1.4 可以生成视觉上吸引人且连贯的图像，准确地描绘给定的输入文本。其稳定可靠的性能使其成为视觉叙事、内容创作和艺术表达等应用的宝贵资产。在此基准测试中，我们评估了 Stable Diffusion 1.4 在不同计算云和 GPU 上的推理性能。

许多免费的在线应用程序可让您免费删除图像的背景。但出于隐私考虑，您可能不想使用它们。在这篇文章中，您将学习如何使用稳定扩散 GUI 来删除计算机上本地任何图像的背景。您将完全控制图像的存储方式。作为奖励，您可以使用一些高级选项来优化背景去除。

Dreambooth由 Google 研究团队于 2022 年发布，是一种通过将自定义主题注入模型来微调扩散模型（如稳定扩散）的技术。为什么叫Dreambooth？据谷歌研究团队称，它就像一个照相亭，但一旦拍摄到主题，它就可以合成到你的梦想带你去的任何地方。听起来很棒！但它的效果如何？以下是研究文章中的一个示例。仅使用特定狗（我们称她为 Devora）的 3 张图像作为输入，dreamboothed 模型就可以在不同的环境中生成 Devora 的图像。

LoRA 模型是检查点模型的小修改。您可以通过在提示中包含短语来轻松地在 AUTOMATIC1111 中使用它们。今天就这样！我将在以后的文章中告诉您如何训练 LoRA 模型。

微调是机器学习中的常用技术。它需要一个在宽数据集上训练的模型，并在窄数据集上进行更多训练。经过微调的模型往往会生成与训练中使用的图像相似的图像。例如，模型是使用动漫图像进行训练的。因此，它默认生成动漫风格的图像。CLIP Skip 是一项功能，可在稳定扩散的图像生成过程中跳过 CLIP 文本嵌入网络中的最后一些层。CLIP 是 Stable Diffusion v1.5 模型中使用的语言模型。它将提示中的文本标记转换为嵌入。它是一个包含许多层的深度神经网络模型。CLIP Skip 指的是要跳过最后几层。

无论你的提示和模型有多好，一次性获得完美图像的情况都很少见。修补是修复小缺陷不可或缺的方法。在这篇文章中，我将介绍一些使用修复来修复缺陷的基本示例。如果您不熟悉 AI 图像，您可能需要先阅读。

嵌入是文本反转的结果，是一种在模型中定义新关键字而不修改模型的方法。该方法之所以受到关注，是因为它能够用少至 3 - 5 个样本图像向模型注入新的样式或对象。

VAE 代表variational autoencoder(变分自动编码器)。它是神经网络模型的一部分，可在较小的潜在空间之间对图像进行编码和解码，从而使计算速度更快。我们已经介绍了如何使用 Stability AI 发布的两种改进的 VAE 解码器。它们对渲染眼睛提供了微小但显着的改进。您可以决定是否要使用它。

采样器负责执行去噪步骤。为了生成图像，Stable Diffusion 首先在潜在空间中生成完全随机的图像。然后噪声预测器估计图像的噪声。从图像中减去预测的噪声。这个过程重复十几次。最后，你会得到一个干净的图像。这个去噪过程称为采样，因为稳定扩散技术每一步都会生成一个新的样本图像。采样中使用的方法称为采样器或采样方法。采样只是稳定扩散模型的一部分。阅读文章“稳定扩散如何工作？”如果你想了解整个模型。下面是一个正在运行的采样过程。采样器逐渐产生越来越清晰的图像。

Stable Diffusion v1 中使用VAE 文件来改善眼睛和面部。它们就是我们刚才谈到的自动编码器的解码器。通过进一步微调解码器，模型可以绘制更精细的细节。您可能意识到我之前提到的并不完全正确。将图像压缩到潜在空间确实会丢失信息，因为原始 VAE 无法恢复精细细节。相反，VAE 解码器负责绘制精细细节。

我们如何了解实际发生的情况以便我们可以创建和修改工作流程？要了解节点，我们必须了解一些稳定扩散的工作原理。让我们看一下默认的工作流程。如果您没有使用默认工作流程，或者您一直在搞乱界面，请单击右侧边栏上的“Load Default”。