AI绘画 Stable Diffusion【应用篇】【角色一致性】：如何从不同视角创造一致的人物角色？

大家好，这里是阿道夫！！

您是否需要从不同的视角创建一致的 AI 角色？例如下面的图片效果。

一. 实现原理

制作一张同一个人物角色不同的视角网格图片，如下图所示。

使用ControlNet的Canny SDXL控制模型生成人物角色轮廓，如下图所示。

然后使用 IP Apadter FaceID Plus v2 从另一个参考图像复制面部。由于IP Apadter
FaceID仅复制面部。它可以从参考图像中精确提取面部特征，因此可以准确地将面部转移到不同的视角。

二. 制作方法

【第一步】：大模型的选择
这里推荐使用：ProtoVision XL-High Fidelity-No Refiner，版本v6.6.0。

模型下载地址（文末网盘地址也可获取）
LiblibAI:https://www.liblib.art/modelinfo/3a3d10aa7fe644158c08a5a43da358db

【第二步】：提示词的编写

我们以上图中第一张图片为例来进行说明。

正向提示词

Prompt：character sheet, color photo of woman, white background, blonde long
hair, beautiful eyes, black shirt
提示词：人物表，女人的彩色照片，白色背景，金发长发，美丽的眼睛，黑色衬衫
反向提示词

disfigured, deformed, ugly, text, logo

相关参数设置

• 采样器：DPM++ 2M Karras
• 采样迭代步数：20
• 图片宽高：1024*1024。
• 提示词引导系数（CFG）：7

【第三步】：ControlNet的设置

这里我们需要配置2个ControlNet单元。

ControlNet单元0：canny控制模型配置

相关参数设置如下：

• 控制类型：选择"Canny(硬边缘)"

• 预处理器：canny

• 模型：diffusers_xl_canny_mid

• 控制权重：0.4

• 引导介入时机：0

• 引导终止时机：0.5

ControlNet单元1：Ip-Adapter控制模型配置

相关参数设置如下：

• 控制类型：选择"IP-Adapter"

• 预处理器：ip-adapter_face_id_plus

• 模型：ip-adapter-faceid-plusv2_sdxl

• 控制权重：0.7

• 引导介入时机：0

• 引导终止时机：1

【第四步】：使用 ADetailer 自动修复脸部

由于图片中人脸较多，需要开启ADetailer修复脸部。模型选择:face_yolov8n.pt

【第五步】图片的生成

点击【生成】按钮，我们来看一下最终生成的图片效果。

`## 如何训练LorA

对于很多刚学习AI绘画的小伙伴而言，想要提升、学习新技能，往往是自己摸索成长，不成体系的学习效果低效漫长且无助。

如果你苦于没有一份Lora模型训练学习系统完整的学习资料，这份网易的《Stable Diffusion LoRA模型训练指南》电子书，尽管拿去好了。

包知识脉络 + 诸多细节。节省大家在网上搜索资料的时间来学习，也可以分享给身边好友一起学习。

由于内容过多，下面以截图展示目录及部分内容，完整文档领取方式点击下方微信卡片，即可免费获取！

[外链图片转存中…(img-qvXZGkoh-1734922010963)]

[外链图片转存中…(img-q0okb69O-1734922010963)]

[外链图片转存中…(img-fDxO83Yd-1734922010963)]

篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的卡片进行领取！

这里直接将该软件分享出来给大家吧~

1.stable diffusion安装包

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.SD从0到落地实战演练

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的stable diffusion资料我已经打包好，需要的点击下方插件，即可前往免费领取！