AI绘画stable diffusion 面部特征一致性保持与迁移，轻松搞定私人写真摄影，SDWebUI使用指南

原创已于 2025-01-04 21:44:19 修改 · 773 阅读

28 ·

CC 4.0 BY-SA版权

文章标签：

#AI作画 #stable diffusion #人工智能 #SD教程 #AIGC #AI绘画 #科技

于 2024-12-18 13:05:08 首次发布

部署运行你感兴趣的模型镜像

大家好我是AIGC阿道夫

IPAdapterFaceID面部特征一致性风格保持与迁移

最近经常有同学问到关于风格迁移IPAdapter、Instant ID等安装和使用方法，内容虽基础但也属常用工具。因此今天的文章核心将带大家介绍**SDXL FaceID Plus v2 **在SD-WebUI中使用指南

IP-Adapter-FaceID简介

IP-Adapter
是一种有效且轻量级的适配器，可以被用于实现预训练的文本到图像扩散模型的图像提示功能。IP-
Adapter 的关键设计是解耦的交叉注意力机制，能夠将文本特征和图像特征的交叉注意力层分离。试验结果表明，在仅有2200万参数的IP-Adapter 能够实现与微调后的图像提示模型相当甚至更好的性能。由于IP-Adapter
采用的是冻结预训练的扩散模型，因此IP-Adapter
不仅可以泛化到从同一基础模型微调的其他自定义模型，还可以使用现有的可控工具实现可控生成。得益于解耦的交叉注意力策略，图像提示还可以与文本提示很好地配合，用来完成多模态图像生成。

IP-Adapter 采用架构方法如下图所示。其中图像提示适配器旨在使预训练的文本到图像扩散模型能够通过图像提示生成图像。IP-Adapter
是由两部分组成：一个图像编码器，用于从图像提示中提取图像特征，以及具有解耦交叉注意力的适配模块，用于将图像特征嵌入到预训练的文本到图像扩散模型中。

IP-Adapter FaceID
则提供了一种从图像中提取面部特征并应用到生成图像的方法。采用了使用来自面部识别模型的面部ID嵌入代替CLIP图像嵌入，此外还使用LoRA来提高身份一致性。IP-
Adapter-FaceID 可以根据仅有的文本提示生成具有特定面部特征的各种风格图像。

IP-Adapter-FaceID安装

最新的sd-webui-controlnet 插件已支持IP-Adapter-FaceID 的使用，请确保升级到最新版本。插件地址：
请添加图片描述

FaceID 使用依赖了insightface ，因此请确保已正确安装此依赖组件，pip install insightface -U。

模型下载

下表显示了每种FaceID IPAdapte 模型使用权重文件和预处理器的组合方式，请确保正确选择。另外，建议在绘图时加载相应的LoRA权重设置为
0.5 ~ 0.7 。下载地址为：https://huggingface.co/h94/IP-Adapter-FaceID/tree/main

SD-WebUI设置

01. 使用IP-Adapter 对应LoRA

02. 配置 ControlNet

请确保选择的预处理器和模型正确匹配。

注意：IP-Adapter FaceID 目前的实现只会提取特征从图像中检测到的第一个面部。

IP-Adapter-FaceID体验

本小节中使用绘图配置 为：

• 绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版
• 迭代步数：30
• CFG：7

• 分辨率：720*1280

- 本文使用到模型下载地址
- 需要的可以扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

• 写实-摄影模型 - AiARTiST UNIT XL 基础单元 CADS2兼容版 ：
• 风格化-动漫模型 - Dream Anime XL | 筑梦动漫XL模型 ：
• 筑梦工业 | 港风胶片XL LoRA模型：
- • add-detail-xl LoRA模型 ：
• DetailedEyes_XL LoRA模型 ：

01. 写真摄影

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

woman,moyou, solo, brown hair, brown eyes, looking at viewer, long hair, black background, simple background, upper body, lips, sleeveless, bangs, from side, shirt, nose, Beautiful Chinese Women, She has exquisite facial features and delicate skin, Rich and realistic skin texture,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1> 


  * 1

02. 写真摄影

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

woman,moyou, solo, looking at viewer, armpits, brown eyes, lips, long hair, black hair, cross hands, smile, simple background, ponytail, camisole, brown hair, closed mouth, upper body, Beautiful Chinese Women, She has exquisite facial features and delicate skin, Rich and realistic skin texture,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1> 


  * 1

03. 国风水彩

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

chinese woman,moyou, Craft an epic odyssey of imagination on the canvas of your choice. Let your artistic intuition guide you through realms unknown,where reality and reverie entwine. Picture a fusion of vibrant colors,fluid lines,and intricate details,encapsulating the boundless essence of an open mind. Go beyond limits,conjuring a visual testament to the inexhaustible wellspring of creativity within you.,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1>


  * 1

04. 蓝色丝绸

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

chinese woman,moyou，Masterpiece, (ultra wide angle lens: 1.2), Unity8k wallpaper, best quality, (detail shadow: 1.1), a beautiful girl, on a sea of light blue silk, translucent silk, floating light blue silk, surrealist style, minimalism, highly detailed texture, light blue, white clean background, CG rendering, light passing through clouds, 8k resolution, (motion photo: 1.2), (Fidelity: 1.4), original photos, movie lighting,,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1>


  * 1

05. 香港风动漫-街景

绘图模型：Dream Anime XL | 筑梦动漫XL模型

HK film style, close-up shot back view of an attractive woman wearing pink dress standing in front of a neon sign, neon orange lighting, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece, <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>


  * 1

06. 香港风动漫-酒吧

绘图模型：Dream Anime XL | 筑梦动漫XL模型

HK film style, an attractive woman wearing fashion outfit sitting at a table inside a bar, her head leaning against her arm, gradient red-orange and blue neon lighting, dark environment, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece,  <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>


  * 1