1步高清出图，字节开源Stable Diffusion加速模型 Hyper-SD

Hyper-SD 使用了当前最先进的 Stable Diffusion
模型加速，可以在1、2、4、8个采样步骤下生成高质量的大尺寸图片，它通过Lora模型的方式发布，兼容 SDXL 和 SD1.5 的各类模型。

先看官方发布的这个效果对比：Hyper-SDXL出图的质量确实很优秀！

Hyper-SD 介绍

Hyper-SD
由字节跳动开源，使用了神经网络的模型蒸馏技术从
SDXL Base 1.0 和 Stable-Diffusion v1-5 模型中提取出了高质量的图像特征信息。

具体来说，字节团队提出了一种新颖的框架，协同整合了ODE轨迹保持和ODE轨迹重构的优势，既保证了新模型的性能，又提升提升了新模型的效率。
首先，它引入了轨迹分段一致性蒸馏，在预先定义的时间步长段内逐步进行一致性蒸馏，从而从更高层次上促进了原始ODE轨迹的保留。
其次，它将人类反馈学习融入模型，以提升低步长条件下的性能，并减轻蒸馏过程中产生的性能损失。第三，它将评分提炼技术融入其中，进一步提升模型在低步骤生成方面的能力，并首次尝试利用统一的LoRA支持所有步骤的推理过程。

ODE轨迹指的是扩散模型在训练时添加噪声和去燥的过程。ODE轨迹保持指的是训练时尽量复现原模型的ODE轨迹，这样可以尽量保持原模型的性能。ODE轨迹重构指的是训练时在保障新模型输出与原模型相近的前提下，优化ODE轨迹。

Hyper-SD 在 SDXL 和 SD1.5 的1至8步推理过程中均实现了良好性能。例如，在1步推理中，Hyper-SDXL 在CLIP评分上比
SDXL-Lightning 高出0.68，在Aes评分上高出0.51。

安装 Hyper-SD

手动安装

Hyper-SD的安装比较简单，我们只需要在ComfyUI的基础能力上增加一个新的采样调度器，然后再下载相关的模型，就可以了。

模型和工作流下载地址见文末。

使用Hyper-SD

Hyper-SD 的推理加速是通过 LoRA 模型实现的，官方发布了多个 LoRA 模型供我们使用。这里我介绍其中最新的两种 LoRA 模型：Unified
LoRA 和 CFG LoRA。

Unified LoRA

先来看 Unified LoRA（统一LoRA），所谓 统一LoRA 就是我们可以只使用一个模型，就能执行
1-8步的推理，在最低的1步推理下图片质量也是有所保证的，而且随着推理步数的增加，图像中的元素越来越丰富，事物的个性特征也会更加明显。

这个工作流中的节点不多，我这里做了一个简单的标注，如下图所示。文末提供工作流的下载方式。

这里有几点注意下：

• TCD采样调度：TCD采样调度器是搭配 Hyper-SD 统一LoRA 模型必备的，它的时间调度是专门调整过的；
• 负向提示词不需要填写；
• CFG引导设置为1；
• 图片尺寸根据所选择的SD模型进行设置，SDXL的图片像素不要低于 1024*1024。

这个模型有什么用？一个字快，比如根据涂鸦实时或准实时生成图片：

CFG LoRA

CFG LoRA 可以让我们使用更强的提示词引导，包括负向提示词。官方训练的模型可以支持5-8的CFG系数。

工作流标注如下：

这里有几点注意下：

1、LoRA模型：选择的是Hyper-SD CFG
LoRA，这里使用的是8步模型，采样步数也要设置为8。最新的有12步模型，图片质量更高一些，但是生成时间也更长。

2、支持反向提示词：比如我们这里的 black hair，就是不要黑色的毛发。

3、采样低矮度还是使用 TCD采样调度器。

4、CFG需要设置为 5-8，具体值需要自己测试，选择适合自己模型和提示词的。

5、图片尺寸根据所选择的SD模型进行设置，SDXL的图片像素不要低于 1024*1024。

资源下载

模型

模型官方下载地址：文末领取！

工作流

同样也是文末领取！

---

目前 ControlNet 已经更新到 1.1 版本，相较于 1.0 版本，ControlNet1.1 新增了更多的预处理器和模型，每种模型对应不同的采集方式，再对应不同的应用场景，每种应用场景又有不同的变空间

我花了一周时间彻底把ControlNet1.1的14种模型研究了一遍，跑了一次全流程，终于将它完整下载好整理成网盘资源。

其总共11 个生产就绪模型、2 个实验模型和 1 个未完成模型，现在就分享给大家，点击下方卡片免费领取。

1. 线稿上色

**方法：**通过 ControlNet 边缘检测模型或线稿模型提取线稿（可提取参考图片线稿，或者手绘线稿），再根据提示词和风格模型对图像进行着色和风格化。

**应用模型：**Canny、SoftEdge、Lineart。

Canny 示例：（保留结构，再进行着色和风格化）

2. 涂鸦成图

方法：通过 ControlNet 的 Scribble 模型提取涂鸦图（可提取参考图涂鸦，或者手绘涂鸦图），再根据提示词和风格模型对图像进行着色和风格化。

应用模型：Scribble。

Scribble 比 Canny、SoftEdge 和 Lineart 的自由发挥度要更高，也可以用于对手绘稿进行着色和风格处理。Scribble 的预处理器有三种模式：Scribble_hed，Scribble_pidinet，Scribble_Xdog，对比如下，可以看到 Scribble_Xdog 的处理细节更为丰富：

Scribble 参考图提取示例（保留大致结构，再进行着色和风格化）：

3. 建筑/室内设计

**方法：**通过 ControlNet 的 MLSD 模型提取建筑的线条结构和几何形状，构建出建筑线框（可提取参考图线条，或者手绘线条），再配合提示词和建筑/室内设计风格模型来生成图像。

**应用模型：**MLSD。

MLSD 示例：（毛坯变精装）

这份完整版的ControlNet 1.1模型我已经打包好，需要的点击下方插件，即可前往免费领取！

4. 颜色控制画面

**方法：**通过 ControlNet 的 Segmentation 语义分割模型，标注画面中的不同区块颜色和结构（不同颜色代表不同类型对象），从而控制画面的构图和内容。

**应用模型：**Seg。

Seg 示例：（提取参考图内容和结构，再进行着色和风格化）

如果还想在车前面加一个人，只需在 Seg 预处理图上对应人物色值，添加人物色块再生成图像即可。

5. 背景替换

**方法：**在 img2img 图生图模式中，通过 ControlNet 的 Depth_leres 模型中的 remove background 功能移除背景，再通过提示词更换想要的背景。

**应用模型：**Depth，预处理器 Depth_leres。

**要点：**如果想要比较完美的替换背景，可以在图生图的 Inpaint 模式中，对需要保留的图片内容添加蒙版，remove background 值可以设置在 70-80%。

Depth_leres 示例：（将原图背景替换为办公室背景）

6. 图片指令

**方法：**通过 ControlNet 的 Pix2Pix 模型（ip2p），可以对图片进行指令式变换。

应用模型：ip2p，预处理器选择 none。

**要点：**采用指令式提示词（make Y into X），如下图示例中的 make it snow，让非洲草原下雪。

Pix2Pix 示例：（让非洲草原下雪）

7. 风格迁移

**方法：**通过 ControlNet 的 Shuffle 模型提取出参考图的风格，再配合提示词将风格迁移到生成图上。

**应用模型：**Shuffle。

Shuffle 示例：（根据魔兽道具风格，重新生成一个宝箱道具）

8. 色彩继承

**方法：**通过 ControlNet 的 t2iaColor 模型提取出参考图的色彩分布情况，再配合提示词和风格模型将色彩应用到生成图上。

**应用模型：**Color。

Color 示例：（把参考图色彩分布应用到生成图上）

这份完整版的ControlNet 1.1模型我已经打包好，需要的点击下方插件，即可前往免费领取！

这里就简单说几种应用：

1. 人物和背景分别控制

2. 三维重建

3. 更精准的图片风格化

4. 更精准的图片局部重绘

以上就是本教程的全部内容了，重点介绍了controlnet模型功能实用，当然还有一些小众的模型在本次教程中没有出现，目前controlnet模型确实还挺多的，所以重点放在了官方发布的几个模型上。

同时大家可能都想学习AI绘画技术,也想通过这项技能真正赚到钱，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学，因为自身做副业需要，我这边整理了全套的Stable Diffusion入门知识点资料，大家有需要可以直接点击下边卡片获取，希望能够真正帮助到大家。

营销十

现在AI绘画还是发展初期，大家都在摸索前进。

但新事物就意味着新机会，我们普通人要做的就是抢先进场，先学会技能，这样当真正的机会来了，你才能抓得住。

如果你对AI绘画感兴趣，我可以分享我在学习过程中收集的各种教程和资料。

学完后，可以毫无问题地应对市场上绝大部分的需求。

这份AI绘画资料包整理了Stable Diffusion入门学习思维导图、Stable Diffusion安装包、120000+提示词库，800+骨骼姿势图，Stable Diffusion学习书籍手册、AI绘画视频教程、AIGC实战等等。

完整版资料我已经打包好，点击下方卡片即可免费领取！

【Stable Diffusion学习路线思维导图】

【Stable Diffusion安装包（含常用插件、模型）】

【AI绘画12000+提示词库】

【AI绘画800+骨骼姿势图】

【AI绘画视频合集】

这份完整版的stable diffusion资料我已经打包好，点击下方卡片即可免费领取！