Stable Diffusion教程:如何实现人脸一致

如何保证每次画出的都同一张人脸?AI绘画Stable Diffusion的Reference only教程 感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。 阅读详情

在AI绘画中,一直都有一个比较困难的问题,就是如何保证每次出图都是同一个人。今天就这个问题分享一些个人实践,大家和我一起来看看吧。

一. 有哪些实现方式

方式1:固定Seed种子值。

固定Seed种子值出来的图片人物确实可以做到一致,但Seed种子值是相对整个画面的,导致这种方式生成的新图片效果差别太小,可能除了人物的脸保存了一致,人物的姿势也保持了一致,甚至画面的背景也保持了一致,出来的图片太过单调。

此时我们虽然可以通过ContolNet来控制人物的姿势,但是效果并不可控。

方式2:使用roop插件

roop插件是我们常见的换脸插件,将生成的图片中人物都使用一张人脸图片去替换,可以很好地做到图片中人脸一致。关于使用roop插件实现换脸可以参考我之前的文章

方式3:针对多张真人照片训练LORA模型

LORA模型可以固定人物特征、动作特征和照片风格。同一个人物的多张真人照片去炼丹训练LORA模型需要一定的技术基础,而且调优费事费力,对很多人来说也不太现实。

方式4:直接利用已有的人物LORA模型

直接使用C站提供的LORA模型,我们也可以生成人脸基本一致的图片。这里的基本一致,不能百分百一致。因为每个人物Lora的训练数据集不一定很全面,主要包括数量、质量、角度等因素不同,出的图很难保证人脸完全一致。

方式5:使用ControlNet预处理Reference only

下面我们重点看一下方式4和方式5,尤其是方式5,是目前实现人脸一致效果的最好方式,不仅适用于人,而且还适用于动物,二次元。

二. LORA模型实现人脸一致的效果

01、LORA模型cuteGirlMix4

我们先通过一个实例看看如何通过LORA实现人脸一致效果。

大模型:majicmixRealistic_v6.safetensors

正向提示词:a beautiful girl, very delicate features, very detailed eyes and mouth,
long hair, delicate skin, big eyes,red sweater, necklace,standing in the
classroom, upper body photos,best quality, ultra-detailed, masterpiece, finely
detail, highres, 8k wallpaper,lora:cuteGirlMix4\_v10:1

反向提示词:(worst quality:2), (low quality:2), (normal quality:2), lowres,
((monochrome)), ((grayscale)), bad anatomy,DeepNegative, skin spots, acnes,
skin blemishes,(fat:1.2),facing away, looking away,tilted head, lowres,bad
anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly
drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra
limbs,extra arms,extra legs,malformed limbs,fused fingers,too many
fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad
proportions,gross proportions,missing arms,missing legs,extra digit, extra
arms, extra leg, extra foot,teethcroppe,signature, watermark,
username,blurry,cropped,jpeg artifacts,text,error

LORA模型cuteGirlMix4权重设置为1。

在这里插入图片描述

我这里将LORA模型cuteGirlMix4调整到0.6,我们再看一下效果。

4张美女的脸差别有些明显了。

关于LORA模型cuteGirlMix4,官网推荐搭配的模型是Chilloutmix。它的训练集来自国外抖音(tiktok)网红,而不是任何特定的真人,权重建议值是0.4-0.7。我们看到当权重设置为1时,人物的效果还是比较好。

可见,将LORA模型cuteGirlMix4的权重设置为1,可以基本实现人脸的一致。

02、LORA模型chinese-girl

LORA模型chinese-girl是从微博/小红书等网站找到的100+张时尚/穿搭博主的图片制成的lora。建议LORA模型权重小于0.8,采样器为DPM++ SDE karras, 采样迭代步数为25。

我们仍然以上面大模型和提示词为例来看一下效果。

将LORA模型chinese-girl的权重设置成1,生成的图片效果明显不太好。并且将LORA的权重设置为1,美女的脸看起来还是不一样。从图中可以看到只是人脸的轮廓保持了一致。

将LORA模型chinese-girl的权重设置成0.6。

生成图片的效果好很多了,但是4张美女的人脸也不一致了。

从上面我们可以看到:

(1)针对某些人物的LORA,将权重设置为1,可以基本实现人脸一致的效果。

(2)某些人物的LORA建议值范围都小于1,将权重设置为1,生成的图片效果会失真。这样的LORA无法实现人脸一致的效果。

(3)将人物LORA的权重设置小于1,一般无法实现人脸一致的效果。

既然很多人物的LORA权重设置要求小于1,那么我们使用多个LORA,保证多个LORA的权重值之和为1,是否就可以实现人脸一致的效果呢?

例如你拥有60%的LORA A模型特征,20%的LORA B模型特征,20%的LORA
C模型特征。这个时候使用如果要实现人脸一致的话,难度相当高。因为这涉及到3个不同的LORA模型的融合,需要大量的生成图片,抽签找到两张脸一样的照片。

大模型:majicmixRealistic_v6.safetensors

正向提示词:a beautiful girl, very delicate features, very detailed eyes and mouth,
long hair, delicate skin, big eyes,red sweater, necklace,standing in the
classroom, upper body photos,best quality, ultra-detailed, masterpiece, finely
detail, highres, 8k wallpaper,
lora:cuteGirlMix4\_v10:0.6,lora:koreanDollLikeness\_v10:0.2
,lora:chilloutmixss30\_v30:0.2

三. 使用ControlNet预处理Reference only实现人脸一致

Reference only是今年5月份ControlNet重大更新中推出的新功能。它不需要任何控制模型即可实现直接使用一张图片作为参考来引导扩散。

我们来使用看一下效果。

大模型:majicmixRealistic_v6.safetensors

正向提示词:a beautiful girl, very delicate features, very detailed eyes and mouth,
long hair, delicate skin, big eyes,red sweater, necklace,standing in the
classroom, upper body photos,best quality, ultra-detailed, masterpiece, finely
detail, highres, 8k wallpaper, lora:cuteGirlMix4\_v10:0.6

采样器:DPM++ SDE Karras

采样迭代步数:28

生成的图片效果如下:

我们使用这张图作为底图,使用ControlNet的预处理

我们修改一下正向提示词:将背景换为海边,衣服换为皮夹克。

a beautiful girl, very delicate features, very detailed eyes and mouth, long
hair, delicate skin, big eyes**,leather jacket,necklace, standing by the sea,
upper body photos,best quality, ultra-detailed, masterpiece, finely detail,
highres, 8k wallpaper,

生成图片的效果如下:

我们修改一下大模型,改变一下画面风格,例如换成anything-v4.5-pruned-
fp16.ckpt,提示词和参数设置都保持不变。我们看一下生成图片的效果。

我们再看一个实例:一只奔跑的狗

大模型:majicmixRealistic_v6.safetensors

正向提示词:best quality, ultra-detailed, masterpiece, finely detail, highres, 8k
wallpaper,a running dog

采样器:DPM++ SDE Karras

采样迭代步数:28

生成的图片效果如下:

我们使用这张图作为底图,使用ControlNet的预处理。

重新生成效果如下:

通过上面的实例,可以看到通过使用ControlNet的预处理reference-
only实现人物(动物)的一致效果还是相当不错的。然后我们再通过背景的改变,实现同一个人物在不同场景下的图片效果了。

好了,今天的分享就到这里了,实现人脸一致的效果一直都是非常困难的问题,不管是SD工具,在MD上面也是一样,对于这类问题大家可以多思考,多研究,多实践,对于我们能力的提升还是非常有帮助的。

Stable Diffusion绘画 | 如何做到不同动作表情,人物角色保持一致性(下篇) 在 人物角色保持一致性(上篇)中,我们已经得到了自己创造的角色的各个角度头像图片:从中选择一个符合自己需求的角度,截图保存,例如下图:进入到「图生图」页面,把上一篇中生成图片的正反向提示词复制过来:在下方加载刚才得到的截图:开启「ADetailer」脸部修复模型:在「ADetailer」加入提示词 ,重绘幅度设置为 ,点击「生成」:得到图片如下:优化调整的方向有2点:在控制表情时,我们需要在权重间找到一个平衡点,过低会不明显,过高则会容易导致人物外貌走样。返回「文生图」页面,保持人物生成的提示词,开启 Co 阅读详情

相关推荐

[Stable Diffusion进阶篇]人脸Lora训练

AI商业应用,人像应用的相识度对比,lora训练>ROOP>IPAdapter。现在各种lora训练工具越来越成熟了,真人lora训练的门槛降低了。

细节控-AI先行者的博客 2146

Stable Diffusion【进阶篇】:如何实现人脸一致

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

白帽阿叁的博客 8044

如何让Arduino IDE支持你手里的STM32 nucleo开发板

Arduino IDE开发环境在默认情况下不支持STM32 NUCLEO开发板,只有通过添加附加开发板管理包才能使用。目前为止,只有一部分板子支持使用Arduino IDE开发环境进行开发,分别是 Nucleo F207ZG, Nucleo F429ZI, Nucleo F030R8, Nucleo F091RC, Nucleo F103RB, Nucleo F303RE, Nucl...

mzw72188552的专栏 8972

[AIGC] 通过Stable Diffusion生成一致人脸的 5 种方法

您是否正在寻找通过 Stable Diffusion 在多个图像中生成一致面部的方法?您可能正在制作故事书或漫画的插图。在这篇文章中,您将找到 3 种生成一致面孔的方法。

unity尧明的博客 4315

别再只盯着内存溢出了!从Unity崩溃日志中揪出AssetBundle.LoadAsset_Internal的真凶

本文深入解析Unity崩溃日志中AssetBundle.LoadAsset_Internal错误的真实原因,帮助开发者超越内存溢出的表象,识别文件损坏、热更新陷阱等核心问题。通过日志分析技巧、最佳实践和高级调试方法,提供系统化的解决方案,确保Unity资源加载的稳定性。

weixin_42676824的博客 251

【视线追踪】视线追踪的性能评估框架 及 基础知识

文章目录一、 前言二、 眼球追踪基础1. 眼动类型研究2. 基本设备3. 校准 calibration4. 眼球视线和头部姿态的关系5. 视线追踪精确度的评估三、 视线估计算法1. 基于2维回归2. 基于3D模型1) 单摄像头2) 多摄像头3. 基于交叉比4. 基于外观5. 基于眼睛形状的方法四、 实现估计的应用1. 电脑2. 电视3. 头戴设备4. 汽车5. 手持设备6. 设备配置五、 视线追踪的性能指标和错误原因1. 不同平台之间差异性很大2. 影响视线追踪可用性的因素六、 视线追踪系统的性能评估框架1

火火的博客 5323
上一篇: AI绘画入门指南!8个国内外主流AI绘画工具盘点
下一篇: 设计师通过AI赚到了8000元,AI真的能代替设计师吗?
不秃头de程序猿
博客等级 码龄5年 4091粉丝 1480原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值