SD教程 Contronet 换脸 InstantID

最近AI换脸又火起来了， 小红书 InstantX 团队发布了一款最新的换脸技术 InstantID

和之前的主流的训练 lora 换脸不同，InstantID 只需要上传一张图就可以实现换脸以及姿势替换！
https://github.com/instantX-research/InstantID

一 InstantID 介绍

InstantID 主要分为了三部分

• ID Embedding：通过预训练的面部识别模型，将语义人脸特征提取为 Face Embedding。这种嵌入包含了丰富的语义信息，如面部特征、表情、年龄等，为后续的图像生成提供了坚实的基础。

• Image Adapter：引入轻量级的适配模块，将提取的身份信息与文本提示结合。通过解耦的交叉注意力机制，图像和文本能够独立地影响生成过程，同时保持身份信息的同时允许用户对图像风格进行精细控制。

• IdentityNet：小红书提出的 IdentityNet 是 InstantID 的核心部分。它利用强语义条件和弱空间条件编码参考面部图像的复杂特征。生成过程完全由 Face Embedding 引导，无需文本信息。只更新新添加的模块，而保持预先训练的文本到图像模型冻结，以确保灵活性

概括来说：

1. InstantID 使用 ID Embedding 提取用户输入的提示词和面部图像的关键信息。

2. 接着 Image Adapter 将这些信息进行融合

3. IdentityNet将这些融合后的信息生成新的图像

下面介绍的是使用 Stable Diffusion 如果集成使用 InstantID

目前只支持 SDXL 模型，controlNet 需要升级到V1.1.440版本

二 使用步骤

模型下载
Instant ID提供了两个 ControlNet 模型，考虑到大家的网络原因，我直接放在了网盘，直接后台回复 模型 获取下载链接

• ip-adapter_instant_id_sdxl.bin

• majicmixRealistic_v7.safetensors

下载完之后放在你的 {A1111_root}/models/ControlNet 目录下，重启 webui 后在 ControlNet 页面可以看到 InstantId 这个选项 （如果找不到这个选项，需要升级下自己 ControlNet 版本，然后重启即可）

参数配置

模型：DreamShaperXL （需要使用一个 sdxl 模型）  
提示词：a 20 yo woman,long hair,dark theme,soothing tones,muted colors,high contrast,(natural skin texture,hyperrealism,soft light,sharp),red background,simple background,  
尺寸：1024x1526  
步数：30  
CFG提示词引导系数：5  

ControlNet 配置

第一个ControlNet 上传包含全脸的图片，用于提取脸部信息

点击4 选择预处理器的“爆炸“按钮， 预览时， 遇到无代理，无法下载huggingface插件的小伙伴， 需要购买魔法，并重启

其中：

• 预处理器：instant_id_face_embedding

• 模型：ip-adapter_instant_id_sdxl

• 控制权重：（0.2-1）之间，越大，出图效果比较模糊，越小图片和原图的脸部就越不像

第二个ControlNet上传姿势图片，用于提取姿势信息注意：姿势图片可以和第一个ControlNet 不需要是同一个人

其中：

• 预处理器：instant_id_face_keypoints

• 模型：control_instant_id_sdxl

• 控制权重：（0.5-1）之间，越大，出图效果比较模糊，越小图片和原图的脸部就越不像
  
  运行报错

 ControlNet model ip_adapter_instant_id_sdxl-new [eb2d3ec0](StableDiffusionVersion.SDXL) is not compatible with sd model(StableDiffusionVersion.SD1x)

说明使用的模型不是sdxl， 换个模型

注意： 换脸模型不需要开启VAE

配置完后直接出图，看看效果，效果还是非常不错的

再换一个提示词，其它不变

提示词

1girl,sweater,white background  

再换一个姿势背景，其它的不变

出图效果

由于我只使用了 DreamShaperXL 来出图，所以出图的风格比较单一，你可以可以使用任意类型的模型和姿势来出图，效果都杠杠的～