手把手教你用SD稳定生成指定人物的2-3人场景

部署运行你感兴趣的模型镜像

最近,尝试在写故事,然后用sd配图。

其中,单人场景很容易生成。

img

但是多人场景的话,很难稳定生成满意的图像。

网上学了一招,用additional networks + controlnet openpose,可以稳定生成2-3人的场景,也分享给大家。

下面以一个双人场景为例

1.安装插件和模型

(1)下载安装好sd插件,additional network。地址https://github.com/kohya-ss/sd-webui-additional-networks。

(2)下载安装好sd插件,controlnet(https://github.com/Mikubill/sd-webui-controlnet)和oppenpose引导模型(https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main)。

2.找到你想生成的双人场景真人图,方便controlnet openpose识别人体姿态,比如下面这张图。

img

(图:小象馆)

3.设置openpose

点击enable启用,pixel pefect,allow preview;

预处理器选择openpose,模型选择openpose,(如果模型这里没有openpose,则记得下载openpose引导模型并放在SD的extensions\sd-webui-controlnet\models文件夹里面后,点击模型右侧的刷新按钮)

Control weight 权重这里设置0.8,让ai控制的姿势更自然一些。

img

点击预处理器右侧的爆炸图标,就能看到骨架预览图,如果识别出来的骨架图觉得不太满意,需要微调也可以用openpose editor之类的工具对骨架识别并微调动作之后,再放进来controlnet使用。

4.设置additional networks

(1)把你想使用的lora模型,放入SD的extensions\ sd-webui-additional-networks\models\lora里面。

(2)启用附加网络,并在下方选择你想要用的lora模型,并分别设置权重为0.8.

img

(3)接下来就是重点了,展开额外参数extra args

上传一张用ps或者之类的工具制作的人物色块png图片。(除了色块之外,全部背景需要是透明的。)

颜色需要是标准的rgb颜色的红绿黄。

抠图就直接用快速选择工具或者之类的抠图工具,把人物抠出来,再用油漆桶工具填充纯色,再把图片导出成png即可。

img

5.设置提示词等基本参数

提示词我是随便写的,因为就要一个男生一个女生出现在图像里,其他的就懒得写了,你如果对背景有要求可以加一些更丰富更细致的提示词。

采样器dpm+2m sde karras

步数step适度调高到25-30

图像尺寸比例参考你原来的底图,避免被压缩裁剪或拉伸变形。

然后开始生成。

img
img

提醒一下,

如果你的小黑窗出现了报错,那么大概率additional networks出现了问题,虽然画面会出现两个人一男一女没问题,位置姿势也没问题,但你的lora未生效,要指定人物就完全无法做到。

类似下面这种报错。

img

报错的话,需要重新安装最新的additional networks再试。

而如果类似下面这种,没有lora报错,并且显示了应用蒙版通道apply mask channel,那么代表你这种用不同的lora控制不同的人物是成功且生效的。

img

6.你会发现生成的男女主基本都是稳定的形象,可以用lora很好控制人物形象和特征,保持人物的统一性,同时生成多人图像也不容易崩。

比如随着剧情推进,女主找上了前男友。(女主不变换男主)

img

男主一怒之下,找了个小三。(男主不变换女主)

img

啊这,有点狗血。(没办法,狗血的剧情才有更多人喜欢看)

7.接着,我们再回来教程这里,如果说,两人场景控制人物形象和面容能比较容易实现,那么三人场景能否做到呢?答案是可以的。

比如我们祭出这张李寻欢同学的名场面图片。

img

同样用上面的处理方式一步一步来生成。

然后我们可以得到这样的图。

img

如果你喜欢大女主,不想让臭男人左拥右抱,那么可不可以呢?可以。

img

但是三个人的控制程度比两个人的控制更难一些,很难指定某个人物用特定某个lora,还需要多生成一些图像来抽卡,才能得到相对满意的图像。

但至少,比之前生成2-3人的图像,相对来说已经可控高了不少。

不管你用来做小说配图还是插画什么的,都方便很多。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

👉[[优快云大礼包:《StableDiffusion安装包&AI绘画入门学习资料》免费分享]]安全链接,放心点击

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉大厂AIGC实战案例👈

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

👉12000+AI关键词大合集👈

在这里插入图片描述
这份完整版的学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型,相比 3.0 版本,它提升了图像质量、运行速度和硬件效率

### 如何微调 Stable Diffusion 模型 #### 微调方法概述 微调 Stable Diffusion 模型可以通过多种方式进行,其中 LoRA(Low-Rank Adaptation)是一种高效的方法。LoRA 主要针对模型的关键部分——交叉注意力层进行调整[^1]。通过这种方式,可以在不改变原始模型结构的前提下实现性能提升。 #### 使用 LoRA 进行微调的具体操作 在 Web UI 中使用 LoRA 模型时,可以设置两个主要参数来控制其效果:**模型强度**和**CLIP 强度**。这两个参数的作用取决于具体模型的训练方式[^2]。如果不确定哪个参数对当前任务更重要,则建议同时调节两者以找到最佳平衡点。 对于需要应用多个 LoRA 模型的情况,在“LoRA 加载器”节点之后继续连接其他 LoRA 节点即可完成配置。这种方法允许用户灵活组合不同风格或功能的 LoRA 模型,从而增强生成图像的质量和多样性[^2]。 #### 学习资源推荐 为了更好地掌握如何微调 Stable Diffusion 模型,可以从一些高质量的学习资料入手。例如,《Stable Diffusion 教程:模型种类介绍》提供了关于各种模型类型的详细介绍以及实际应用场景分析[^3]。此外,“ComfyUI 基础教程”也是一份非常实用的手册,它讲解了如何利用该平台上的工具有效管理并部署不同的微调策略。 以下是 Python 实现的一个简单示例代码片段用于加载预训练好的 SD 模型并通过 PyTorch 库对其进行进一步优化: ```python import torch from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler model_id = "runwayml/stable-diffusion-v1-5" pipe = StableDiffusionPipeline.from_pretrained(model_id).to("cuda") # 设置调度算法提高效率 scheduler = DPMSolverMultistepScheduler(beta_start=0.00085, beta_end=0.012, num_train_timesteps=1000) pipe.scheduler = scheduler def finetune_with_lora(pipe, lora_weights_path="path/to/lora/weights"): pipe.unet.load_attn_procs(lora_weights_path) finetune_with_lora(pipe, "./lora_model") ``` 此脚本展示了怎样借助官方库 `diffusers` 来快速构建管道实例,并引入外部定义好的 LoRA 参数文件路径作为输入源之一来进行定制化处理过程。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值