AIGC绘画设计——Stable Diffusion进阶使用

本文讲解，模型底模，VAE美化模型，Lora模型，hypernetwork。

文本Stable Diffusion 简称sd

欢迎关注留言，不定期追加更新！

使用模型

C站：https://civitai.com/

huggingface：[https://huggingface.co/models?pipeline_tag=text-to-
image](https://link.zhihu.com/?target=https%3A//huggingface.co/models%3Fpipeline_tag%3Dtext-
to-image “https://huggingface.co/models?pipeline_tag=text-to-image”)

大模型（底模型）

stable diffusion webui 部署完成后，checkpoint是放底模 home\webui\models 目录下

常见模式：后缀ckpt/safetensors

常见大小：2G-7G

Realistic
Vision：逼真的照片风格。

Anything v5：动漫风格。

Dreamshaper：写实绘画风格。

VAE美化模型

可以理解为滤镜，选择VAE就像给图片套上了一层滤镜，会改变图片原有的颜色风格；一般默认是无，而且有些大模型中会自带VAE

常见模式：后缀ckpt/pt

名字中带有vae

stable-diffusion-webui 默认页面并没有显示 VAE
设置部分，所以需要先设置一下。首先点击「Settings」，然后点左侧菜单的「User interface」这个
Tab，拉到下面有个选项叫做Quicksettings list，在输入框里面添加,sd_vae,CLIP_stop_at_last_layers:

最后点击上面的「Apply settings」，在点「Reload UI」就会重新刷新页面，即可看到头部的 VAE 区域:

可以去C站和huggingface下载

我们把这些 VAE 模型下载并把它放入到models/VAE目录下:

      1. wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt -O ~/workspace/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.ckpt

  2. wget https://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Anything-V3.0.vae.safetensors -O ~/workspace/stable-diffusion-webui/models/VAE/Anything-V3.0.vae.safetensors

  3. wget "https://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Berry's%20Mix.vae.safetensors" -O

所谓没有对比就没有伤害，对比明显可以感受到不加 VAE 图片优点灰蒙蒙的，不够鲜艳，另外是细节不够，而加了不同的 VAE
都有了更好的颜色效果，细节更全了 (微调)。

最后，注意不同的 VAE 适配的模型不同，也不是某个 VAE 可以用在任何模型下，否则可能会生成非常奇怪的图。

Lora模型

LoRA模型是通过截取大模型的某一特定部分生成的小模型，虽然不如大模型的能力完整，但短小精悍。因为训练方向明确，所以在生成特定内容的情况下，效果会更多。

常见模式：后缀ckpt/safetensors/pt

常见大小：100MB

模型下载并把它放入到models/Lora目录下

可以去C站下载搜索Lora模型