ComfyUI]AI换脸神器 InstantID+IPAdapter

AI换脸技术发展迅速，roop，Reactor，ipadapter-
faceid，photomaker，InstantID，换脸神器更新非常快。

对比lora训练，faceID，intantID，IPA，在人脸风格的迁移上，是目前AI换脸的主要方式。而最新出的InstantID，只需单个图像即可实现ID保留生成，相似度极高。

1.instantid特点

InstantID，主要是使用 ControlNet 和 IP-Adapter 的组合来控制扩散过程中的面部特征。
InstantID 同时支持 WebUI 和 ComfyUI。

支持官方提供的8种风格，还可与PhotoMaker Styler通用。
非官方项目地址：https://github.com/ZHO-ZHO-ZHO/ComfyUI-InstantID

项目地址：https://github.com/cubiq/ComfyUI_InstantID/blob/main/README.zh-CN.md

2.安装 | Install

推荐使用 ComfyUI Manager管理器安装，安装完成后重启comfyui。

在 ComfyUI 管理器中搜索 「InstantID」，选择第一个安装。

第一款换脸
https://github.com/cubiq/ComfyUI_InstantID/blob/main/README.zh-CN.md

根据安装提示，需要insightface
具体安装方法如下

模型目录

• models/ipadapter
• models/loras
• models/clip_vision
• models/insightface/models/antelopev2
• models/controlnet
• models/instantid

第二款换脸ComfyUI_FaceAnalysis

第三款 DZ-FaceDetailer

第四款ComfyUI_IPAdapter_plus
https://github.com/cubiq/ComfyUI_IPAdapter_plus

注意事项：

• 使用InstantID需安装InsightFace 模型（所有换脸的插件都需要）

• 需使用 SDXL 系列模型

• 显存要求高，至少12G显存

3.风格 | Styles

支持官方提供的8种风格：

• (No style)
• Watercolor
• Film Noir
• Neon
• Jungle
• Mars
• Vibrant Color
• Snow
• Line art
  

4.工作流 | workflow

作者提供了InstantID基础工作流和InstantID风格化工作流（增加了配合ArtGallery的艺术可视化工作流）

InstantID风格化工作流

InstantID基础工作流

4.模型下载

下载模型文件，放入 InstantID 的插件目录下：
模型目录

• models/ipadapter

• models/loras
  

• models/clip_vision
  

• models/insightface/models/antelopev2
  

• models/controlnet
  

• models/instantid
  

\ComfyUI\custom_nodes\ComfyUI-InstantID\checkpoints

• 下载 InstantID/ControlNetModel 中的 config.json 和 diffusion_pytorch_model.safetensors ，将模型地址填入 📷ID ControlNet Loader 节点中（例如：ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints/controlnet）

• 下载 InstantID/ip-adapter 中的 ip-adapter.bin ，将其地址填入 Ipadapter_instantid Loader 节点中（例如：ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints）

• 下载 DIAMONIK7777/antelopev2 中的所有模型，将其放入 ComfyUI//custom_nodes/ComfyUI-InstantID/models/antelopev2 中

controlnet模型：

https://huggingface.co/InstantX/InstantID/tree/main/ControlNetModel

ipadapter模型：

https://huggingface.co/InstantX/InstantID/tree/main

ipadapter

IPAdater 模型

权重类型 Weight_type

测试下效果
提示词

closeup of a fierce warrior woman wearing a full armor at the end of a battle. cherry blossoms
high quality, detailed

原图

对比结果

多 IP-Aadater 使用
看下面这个例子：

这里参考光头强图片的构图，参考姚明的肖像，生成的图片，可以看到，背景是森林的，人物肖像是姚明。融合了两者的风格。

或者使用另外一个节点：IPAdapterStylusComposition，汉化过来是 IPAdapter 风格合成

这里调整了一下权重，可以看到两张图片的风格元素完全融入进去了。

5.使用

第一个加载器，修改成本地存放 controlnet 模型的目录，以下是我本地的路径：

F:\ComfyUI-aki-v1.1\custom_nodes\ComfyUI-InstantID\checkpoints\controlnet

第二个加载器是大模型，选择 SDXL 版本的模型。

第三个加载器是 ip-adapter 的加载器，以下是我本地的路径：

在提示词风格化节点中，可以选择不同的风格。

第一张图放人脸，第二张图控制脸部的位置。InstantID会将2个图像的人脸按照一定比例融合，生成新的图片。

InstantID风格化工作流说明：

工作流中多了一个可视化风格节点。

中间的模型加载器不用管，这里是默认去网上下载的，当然也可以把这个节点换成从本地模型库去取。

可视化的风格化节点，总共有两个节点，第一个节点代表的是艺术家风格，我们可以尝试不同的艺术家风格类型。第二个节点是艺术运动。

案例

换脸三步骤

1. 针对参考的面部提取
2. 通过InstantID和IPadapter faceId来对面部加强分析
3. 面部识别和采样渲染