AI写真：ControlNet 之 InstantID

最新推荐文章于 2025-05-24 14:22:22 发布

程序员一东

最新推荐文章于 2025-05-24 14:22:22 发布

阅读量1.8k

点赞数 9

CC 4.0 BY-SA版权

文章标签：人工智能美女 stable diffusion AI作画 ai绘画

本文链接：https://blog.youkuaiyun.com/Eqiqi/article/details/142999357

但是 IPAdapter-FaceId 目前只在 SD 1.5 模型上表现较好，SDXL模型上的表现较差，不能用于实际生产。可是很多同学已经在使用SDXL了，而且SDXL确实整体上出图效果更好，怎么办？

这篇文章就来给大家介绍一个在SDXL中创作AI写真的稳定方法：使用 InstanID。

InstantID，翻译为身份标识，这是一个ControlNet模型，其核心能力是由国内的小红书团队开发的。InstantID可以提取人物的面部信息，然后在生成的人物图片中使用此面部。只需要人物的一张正面照片，就可以生成此人物的多种风格图片，正适合来搞AI写真。

效果展示

废话不多说，还是先看效果（大家可以猜猜此人是谁，文中会揭晓答案）：

更多带生成参数的图片下载请看文末。

安装方法

文末领取一键安装包！

使用InstantID

这里以 Stable Diffusion WebUI 为例，ComfyUI 的使用示例见下文。

因为 InstantID 仅能在 SDXL 模型下使用，所以本文将使用 SDXL 模型进行演示。

基本设置

打开“文生图”页面，首先我们需要选择SD基础模型（模型下载方式见文末）、设置提示词和负向提示词。

然后我们简单设置下生成参数，如下图所示。

你可以直接使用我这几个参数的值，简单介绍下：

1、采样器：DPM++系列在在采样质量和效率上都比较高，是目前效果最优秀的反向扩散采样算法之一。

2、调度类型：用于控制采样过程中的噪声水平，这是 WebUI 1.9.0 之后从采样器分离出来的参数，可以单独设置，使用更灵活。Karras
噪声计划在初始采样步骤中的噪音水平较高，而在结尾采样步骤中的噪音水平较低，实验表明这样有助于提高生成图片的质量。

3、采样步数：一般设置为20-30，可根据具体效果调整。

4、使用SDXL模型时，宽度和高度需要设置为1024以上，这里是一张垂直图，比例为3:4。

5、生成次数和每次数量：一次多生成几张，方便选择。生成次数是独立的生成几次，消耗时间根据次数加倍；每次数量是单次生成内的输出图片数量，比较消耗显存。

6、提示词引导系数：对于InstantID，不要设置的太高，3-5最佳 ，根据实际情况选择。

7、图像生成种子：-1代表随机数，每次生成都会产生新的变化。

ControlNet设置

InstantID 是通过 ControlNet 发挥作用的，我们重点看下相关设置。

这里需要两个 ControlNet，一个用于控制面部特征，另一个用于控制面部姿势（可选）。

先看第一个ControlNet，上传一张参考图片，勾选“启用”和“完美匹配像素”。“完美匹配像素”用于控制从参考图片中提取的特征信息的分辨率，以更加匹配生成图片的尺寸，无脑勾选就是了。

“控制网类型”勾选Instant-ID，注意第一个ControlNet中的预处理器和模型选择，需要是：instant_id_face_embedding 和
ip-adapter_instant_id_sdxl，它们用于提取参考人物的面部特征，并应用到生成图片中。其它参数默认即可。

再来看第2个ControlNet，它是用来控制生成图片中人物的面部姿势的。我们可以选择其它人物的图片，这不会影响面部特征的控制，仅影响人物的头部姿势。注意不是人物整体的姿势，当然人物的头部姿势也会对整体的姿势产生一定的影响。注意这个
ControlNet 是可选的，没有它也不影响人物的面部控制。

注意这里的三个参数：

预处理器：instant_id_face_keypoints，脸部的关键点，或者说面部姿势。

模型：control_instant_id_sdxl。

控制模式：以ControlNet为主，不选这个生成图片的线条会比较粗糙。

最后，我们只要点击“生成”，静待写真图生成就好了。

使用ComfyUI工作流

我在 ComfyUI 中也测试了 InstantID
的生成效果，制作了两个工作流，一个和WebUI中的能力类似，另一个还结合了IPAdapter，可以提取参考图片的风格。

在 ComfyUI 中使用 InstantID 时，需要安装一些插件，：不方便访问外网的同学可以到文末下载 我整理的资源。

资源下载

AI写真用到的大模型、LoRA模型、修脸修手模型、ControlNet插件和模型，以及生成的图片（可提取提示词等生成参数），我都已经整理到了网盘中，需要的同学，可以到文末下载
我整理的资源！

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

GPT的定义与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你解决一切问题？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高技巧-GPT高情商沟通
GPT深度玩法应用场景
GPT高级角色扮演-教学老师
GPT高级角色扮演-育儿专家
GPT高级角色扮演-职业顾问
GPT高级角色扮演-专业私人健身教练
GPT高级角色扮演-心理健康顾问
GPT高级角色扮演-程序UX/UI界面开发顾问
GPT高级角色扮演-产品经理
GPT高级技巧-游戏IP角色扮演
GPT高级技巧-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人医生
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿建议
GPT实操练习-资产配置
GPT实操练习-教学课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-面试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、建议
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及合并实战
GPT提升工作效率-Excel生成复杂任务实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调整PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动回复
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述，AI绘画的应用领域，PAI绘画与传统绘画的区别，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。