AI绘画stable diffusion 面部特征一致性保持与迁移，轻松搞定私人写真摄影，SDWebUI使用指南

IPAdapterFaceID面部特征一致性风格保持与迁移

最近经常有同学问到关于风格迁移IPAdapter、InstantID等安装和使用方法，内容虽基础但也属常用工具。因此今天的文章核心将带大家介绍**SDXL FaceID Plus v2 **在SD-WebUI中使用指南

IP-Adapter-FaceID简介

IP-Adapter是一种有效且轻量级的适配器，可以被用于实现预训练的文本到图像扩散模型的图像提示功能。IP-Adapter 的关键设计是解耦的交叉注意力机制，能夠将文本特征和图像特征的交叉注意力层分离。试验结果表明，在仅有2200万参数的IP-Adapter 能够实现与微调后的图像提示模型相当甚至更好的性能。由于IP-Adapter采用的是冻结预训练的扩散模型，因此IP-Adapter不仅可以泛化到从同一基础模型微调的其他自定义模型，还可以使用现有的可控工具实现可控生成。得益于解耦的交叉注意力策略，图像提示还可以与文本提示很好地配合，用来完成多模态图像生成。

IP-Adapter 采用架构方法如下图所示。其中图像提示适配器旨在使预训练的文本到图像扩散模型能够通过图像提示生成图像。IP-Adapter是由两部分组成：一个图像编码器，用于从图像提示中提取图像特征，以及具有解耦交叉注意力的适配模块，用于将图像特征嵌入到预训练的文本到图像扩散模型中。

IP-Adapter FaceID则提供了一种从图像中提取面部特征并应用到生成图像的方法。采用了使用来自面部识别模型的面部ID嵌入代替CLIP图像嵌入，此外还使用LoRA来提高身份一致性。IP-Adapter-FaceID 可以根据仅有的文本提示生成具有特定面部特征的各种风格图像。

IP-Adapter-FaceID安装

最新的sd-webui-controlnet 插件已支持IP-Adapter-FaceID 的使用，请确保升级到最新版本。插件地址：

FaceID 使用依赖了insightface ，因此请确保已正确安装此依赖组件，pip install insightface -U。

模型下载

下表显示了每种FaceID IPAdapte 模型使用权重文件和预处理器的组合方式，请确保正确选择。另外，建议在绘图时加载相应的LoRA权重设置为0.5 ~ 0.7 。下载地址为：https://huggingface.co/h94/IP-Adapter-FaceID/tree/main

SD-WebUI设置

01. 使用IP-Adapter 对应LoRA

02. 配置 ControlNet

请确保选择的预处理器和模型正确匹配。

注意：IP-Adapter FaceID 目前的实现只会提取特征从图像中检测到的第一个面部。

IP-Adapter-FaceID体验

本小节中使用绘图配置 为：

• • 绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

• • 迭代步数：30

• • CFG：7

• 分辨率：720*1280

• • 本文使用到模型下载地址
• • 需要的可以扫描下方优快云官方认证二维码免费领取【保证100%免费】
    

• • 写实-摄影模型 - AiARTiST UNIT XL 基础单元 CADS2兼容版 ：

• • 风格化-动漫模型 - Dream Anime XL | 筑梦动漫XL模型 ：

• • 筑梦工业 | 港风胶片XL LoRA模型：

• • • add-detail-xl LoRA模型 ：

• • DetailedEyes_XL LoRA模型 ：

01. 写真摄影

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

woman,moyou, solo, brown hair, brown eyes, looking at viewer, long hair, black background, simple background, upper body, lips, sleeveless, bangs, from side, shirt, nose, Beautiful Chinese Women, She has exquisite facial features and delicate skin, Rich and realistic skin texture,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1> 


  * 1

02. 写真摄影

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

woman,moyou, solo, looking at viewer, armpits, brown eyes, lips, long hair, black hair, cross hands, smile, simple background, ponytail, camisole, brown hair, closed mouth, upper body, Beautiful Chinese Women, She has exquisite facial features and delicate skin, Rich and realistic skin texture,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1> 


  * 1

03. 国风水彩

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

chinese woman,moyou, Craft an epic odyssey of imagination on the canvas of your choice. Let your artistic intuition guide you through realms unknown,where reality and reverie entwine. Picture a fusion of vibrant colors,fluid lines,and intricate details,encapsulating the boundless essence of an open mind. Go beyond limits,conjuring a visual testament to the inexhaustible wellspring of creativity within you.,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1>

04. 蓝色丝绸

绘图模型：AiARTiST UNIT XL 基础单元 CADS2兼容版

chinese woman,moyou，Masterpiece, (ultra wide angle lens: 1.2), Unity8k wallpaper, best quality, (detail shadow: 1.1), a beautiful girl, on a sea of light blue silk, translucent silk, floating light blue silk, surrealist style, minimalism, highly detailed texture, light blue, white clean background, CG rendering, light passing through clouds, 8k resolution, (motion photo: 1.2), (Fidelity: 1.4), original photos, movie lighting,,<lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:SDXL Detail:1>,,<lora:DetailedEyes_XL_v3.0:1>

05. 香港风动漫-街景

绘图模型：Dream Anime XL | 筑梦动漫XL模型

HK film style, close-up shot back view of an attractive woman wearing pink dress standing in front of a neon sign, neon orange lighting, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece, <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>

06. 香港风动漫-酒吧

绘图模型：Dream Anime XL | 筑梦动漫XL模型

HK film style, an attractive woman wearing fashion outfit sitting at a table inside a bar, her head leaning against her arm, gradient red-orange and blue neon lighting, dark environment, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece,  <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>

通过上面演示案例，可以看出IP-Adapter-FaceID可以面部特征的保持和风格迁移，但是和实际输入人物图像一致性强度并不足够。不过，IP-Adapter作为基础可以实现的不止风格一致。请期待下一节一致性强度更强的Instant ID文章介绍，参见下图示例：

资料软件免费放送

次日同一发放请耐心等待

这里直接将该软件分享出来给大家吧~

1.stable diffusion安装包

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.SD从0到落地实战演练

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的stable diffusion资料我已经打包好，需要的点击下方插件，即可前往免费领取！