【SD教程】深度解析!如何用Stable Diffusion实现模特精准换装?

Stable Diffusion本地部署与提示词工程实战:从环境搭建到精准出图 扩散模型作为当前生成式AI的核心技术之一,通过逐步去噪的过程将随机噪声转化为目标数据,其原理奠定了文生图、视频合成等应用的基础。这项技术的工程价值在于将前沿研究转化为稳定可控的生产力工具,广泛应用于数字艺术创作、游戏资产设计、广告营销和内容生产等领域。本文聚焦于Stable Diffusion这一开源文生图模型的工程化实践,深入解析如何搭建本地开发环境,并系统阐述提示词工程的方法论。通过掌握大模型、VAE、LoRA等核心组件的协同作用,以及结构化提示词与负面提示词的编写技巧,开发者能有效解决生成图像质量不稳 阅读详情
一、前言

来了来了,之前给大家承诺的模特换装教程它来了!本篇教程主要运用 StableDiffusion 这个工具来进行操作,下面会通过几个小案例,给大家展示不同需求下,我们该如何使用 StableDiffusion 来辅助我们完成服装效果展示。本教程适用于电商设计场景、摄影场景等多个运用人物设计的实战中,全程干货,需要大家慢慢吸收,学会后轻松拿捏模特换装,let’s go!

二、更换模特

1. 不一样的设计需求!

换个不一样的需求单,简单粗暴,直达灵魂最深处(本篇文章随性而为)

img

2. 前期准备

老样子,我们先把模型以及素材准备好:

  1. Stable Diffusion 模型:majicMIX realistic 麦橘写实_v6
  2. controlnet 插件模型以及黑白蒙版图

Controlnet 插件一般用活菩萨秋叶的启动包就会自带,不过模型需要自己安装一下,在往期文章我有专门介绍过 Controlnet 的插件安装教程以及模型的下载方式,此处不多做说明。

准备一张黑白蒙版图片,注意以下几点:

  1. 用 PS 把“假人模特”部分填充黑色(即后续需要生成真人模特部分)
  2. 等比缩放尺寸(与原图比例一致),把这张图片的尺寸缩小,方便后续的操作;
  3. 白色区域为蒙版内容,黑色为非蒙版内容(SD 内的蒙版原理)

img

3. 关键词描述

正向关键词:

Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,long hair,
最佳质量,杰作,超高分辨率,(逼真度:1.4),原始照片,1 个女孩,长发,

反向关键词(通用关键词,哪哪都可用):

(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,bad_pictures,DeepNegativeV1.x_V175T,nsfw,

img

4. 图生图-上传重绘蒙版

重点来了,本案例的核心部分,就是使用图生图的「重绘蒙版」来进行模特的重新绘制。

如图所示,选择「图生图」,把上述的模型以及关键词加上,点击「上传重绘蒙版」,上传原图及蒙版图。

注意:原图及蒙版图尺寸要一致哦~

img

下面的参数直接抄作业即可,说几个重点参数:

  1. 蒙版边缘模糊度需要调整为 0,这个参数类似于 PS 的羽化,把蒙版边缘进行模糊度处理。这里我用 ps 经过精准的抠图绘制成蒙版,所以不需要这个参数起作用,不然边缘会有原图的灰色在里面;
  2. 蒙版模式设置为「重绘非蒙版内容」,前面说过白色区域为蒙版内容,黑色为非蒙版内容,大家灵活往里面带入,黑白是可以切换的,后续调整「蒙版模式」即可;
  3. 重绘倍数选择 2 倍放大,我测试 1 倍图生成的效果不好,后期调整区间很大;
  4. 「重绘幅度」为 0.5,太高会生成的乱七八糟。

img

5. 初步跑图(批量)

把上述的参数调整好了之后,我们就可以进行初步的跑图了,可以调整总批次数量(显卡一般的控制在 4 左右)。

img

到这一步基本上就差不多了,挑选一张相对满意的图片,可以进行细节上的优化,比如手部及脸部等。

6. 局部重绘细节处

把选中的图片上传到「局部重绘」中,用画笔涂抹需要修改的地方,把下方的蒙版模式改为「重绘蒙版内容」,点击生成即可。

img

可以重复多次使用局部重绘功能,把脸部和手部分开重绘,效率会更高点,同时,也可以通过修改正向关键词,来重绘涂抹地方,比如加上长发等等。

这个案例就说到这里,后期还有优化空间,大家会这个操作方法才是本次案例的核心,来看看对比吧~

img

三、inpaint anything 插件

上一个案例我们是 ps 手动绘制蒙版的,有没有自动且更便捷的方式呢,当然有,就是使用这个「inpaint anything 插件」:

使用 Segment Anything,用户可以通过简单地指向所需区域来指定蒙版,而不是手动填充它们。这可以提高蒙版创建过程的效率和准确性,从而可能获得更高质量的修复结果,同时节省时间和精力。

img

1. inpaint anything 安装
请添加图片描述
插件安装方法一直都是如此,相信看到本篇教程的你也绝不是小白了,我就简单带过,另一种方法可以通过网址下载: https://github.com/Uminosachi/sd-webui-inpaint-anything

img

安装完成后刷新「web-ui」即可看到这个插件,之后下载模型,这个插件就不做详细介绍,看操作路径即可。

img

2. 生成蒙版图

先准备一张模特图片,上传到「Input image」中,点击运行。

img

如图所示,右侧会出现「语义分割色块图」,按照下方步骤操作。

说明一下:我们选中的区域,它会给我们在下方高亮显示,选中的部分在后面会给我们生成黑白遮罩图。

img

之后在左侧找到以下的选项,按步骤操作,你就会得到一张蒙版图,最后发送到图生图中~

后面的操作是不是很熟悉了,就是第一个案例的操作,这个插件就是为我们生成蒙版图。

img

3. 换个模特吧

回到图生图,模型及关键词用第一个案例的,无需做出任何改动,下方的参数也不需要动,只需要把尺寸调整下,与上传图片的尺寸一致即可。

img

搞定了,就这么简单,有问题的地方发送到「局部重绘」中,修正调整即可。

img

来看一下对比:

img

我们还可以扩展一下,只能换人吗?我们换个衣服试试。

4. 换件衣服吧

上面是保持衣服不变,更换人物。生图原理就是利用图生图蒙版功能,大家应该知道怎么做了吧,我们只需要把蒙版模型改动一下即可。

我们先把正向关键词改动下吧,把关于人物的描述删掉,更换成「yellow clothes」黄色衣服试试:

Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,(((yellow clothes))),

img

下面参数有两个点需要注意:

  1. 蒙版模式改为「重绘蒙版内容」;
  2. 重绘幅度调大一点,之前是 0.5,现在我们改成 0.7,不然衣服颜色是黄色+红色相结合的颜色。

img

然后生成一批图试试~先埋个坑,哈哈哈!

怎么样,还可以吧,是不是发现这动作不对,胳膊乱飞~那咱们就继续往下看。

img

5. Openpose 姿势控制

其实大家做图的时候要灵活运用功能,就上述生成的姿势是有问题的,解决这个问题方法就可以用 openpose,提取原图的姿态。

使用方法如下图,没什么难度,抄作业即可。

img

再次生成,模特的姿势就成功的还原了,很完美!可以通过修改关键词来调整衣服的颜色以及款式,完事~

img

四、自定义模特

换个一个场景,上面两个案例都是有模特的素材,如果没有模特只有一件服装可以生成模特图吗,也是可以的,我们往下看:

1. 准备素材

当我们有一张服装图时,还需要准备两张应用在 stablediffusion 的素材图:

  1. 一张服装白底图(应用在 controlnet 上);
  2. 黑白蒙版图(应用在重绘蒙版上)。

注:黑白蒙版图可以用上面提到的插件做哦,别忘记用了。

img

2. 安装 3D 骨架模型编辑 (3D Openpose)

先说下思路,当我们只有服装时,我们需要在服装基础上创建一个人物,stablediffusion 是无法精准的基于服装生成人物,所以我们需要使用「3D Openpose」这个插件来创建一个人物骨架图,然后运用「controlnnet」插件来精准控图。

安装插件跟上面一样,在扩展中安装即可,如果扩展安装不了那就是用本地安装,网址在这:https://github.com/nonnonstop/sd-webui-3d-open-pose-editor/tree/main

img

安装完成后,重启「web-ui」即可在这看到「3D Openpose」,关于这个怎么用很简单,大家尝试着用用,熟悉一下即可(我个人觉得不是很好操作)

img

3. 创建人物骨骼图

进入到「3D Openpose」,把原图放进来,然后调整骨架与图片的对应位置,可以根据自己的想法调整骨架姿势,需要多尝试用几遍。注意:图片尺寸一定要设置好,一定!

img

调整完之后,点击「生成」,点击「发送到 controlnet」,点击「发送到图生图」即可。

注意:基于写本篇教程的 sd 版本,我们需要先到「图生图」模块把 controlnet 先勾选启用,发送才有效!

img

4. 设置 controlnet 及重绘蒙版

回到「图生图」的 controlnet 中,我们需要使用两个 controlnet 插件,第一个就是「openpose」,其次是「canny」。

  1. 「openpose」只需选择该模型即可,预处理器不用选择;
  2. 「canny」目的是控制服装边缘,上传前面准备的白底图,如果你前面蒙版图没有抠细致,这一步很重要。

img

重绘蒙版与前面两个案例一样,包括模型与关键词,一模一样即可。

img

5. 跑图完成

上述参数设置完成后,跑图即可,剩下的细节之处本教程就不做演示了,与第一个案例一样,细节之处有问题的地方使用「局部重绘」修正即可,或者是 PS 处理下(话说 PS Beta 好像不能用了)

img

怎么样,应该都看会了吧

img

五、总结

本教程详细介绍了如何使用 StableDiffusion 实现模特精准换装以及换模特。通过几个实际案例,展示了 StableDiffusion 在不同场景下的应用,通过学习本教程,您可以轻松掌握模特换装的技巧,提高工作效率,完事了,下课,我们下期见。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

请添加图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

请添加图片描述

【Stable Diffusion】提取服装蒙版img2im模特换装 本文介绍了利用生成式扩散模型(如Stable Diffusion)和深度学习技术实现服装智能换装的方法。通过自动识别模特服装并批量生成蒙版,算法可快速完成抠图与换装,大幅提升效率。文章详细解析了基于U2NET模型的蒙版提取流程,包括图像预处理、模型推理及掩膜生成步骤,并提供了代码实现方法。该技术适用于服装设计、电商等领域,简化了传统手动抠图的繁琐操作,为视觉效果处理提供了高效解决方案。 阅读详情

相关推荐

基于sd的模特换装

【AI模特计划】在和群大佬交♂流三天后,成功晋升二品炼丹师,【Midjourney—商业应用02】电商产品变模特,Dreambooth训练服饰教程,让AI自动生成服饰+模特的广告图,AI 虚拟换装,让AI模特穿指定服装 AI电商/服装模特已就业?一一一一一一一一一一一一一一一一一一一一一一一一一一一一…这个领域的核心就是怎么把商品展示出来,商品本身不能发生变化,细节不能乱,模特换装或者虚拟换装,核心不在人,而在于商品,阿里塔玑这种核心在于怎么把平面的2D商品转成一个3D商品图,怎么让模特把商品穿起来。

liguandong 1108

深度解析丨AI绘画Stable Diffusion如何实现模特精准换装以及如何替换模特

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

白帽阿叁的博客 2785

[Stable Diffusion进阶篇]Segment Anything实现商业换装

Segment Anything是一种基于深度学习算法的图像分割工具,它可以将图像当中的每一个像素分配到对应的区域当中,能够实现精准的边缘识别。与传统的分割工具相比,它的优势就在于自动检测,大大提高了分割效率。官网:https://segment-anything.com/

细节控-AI先行者的博客 1250

AI绘图的场景应用:文生图、图生图

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

qq_41314882的博客 7652

STM32移植u8g2库(HAL库)(硬件SPI)(sh1106_128x64)

STM32移植u8g2库(HAL库)(硬件SPI)(sh1106_128x64) MCU型号为STM32F103RCT6,OLED屏为中景园电子1.3寸屏,驱动芯片为sh1106,分辨率为128x64,MDK版本为V5.34。

Master_0_的博客 6271

逆向实战:我是如何一步步解开美团外卖App的mtgsig3.0签名(附关键代码片段)

本文详细记录了逆向分析美团外卖App的mtgsig3.0签名算法的全过程,从抓包到算法还原,包括Java层和Native层的深度分析。通过Frida、IDA Pro等工具,揭示了签名生成的多层加密流程,并提供了关键代码片段。文章还探讨了逆向工程中的反调试对抗和签名时效性问题,为安全研究人员提供了宝贵的技术参考。

weixin_42530732的博客 872

深度解析丨StableDiffusion如何实现模特精准换装以及如何替换模特_stable diffusion 换装

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

2401_84760527的博客 1876

TCN(Temporal Convolutional Networks)时序卷积网络详解及代码

TCN(Temporal Convolutional Networks)时序卷积网络详解及代码

zhulewen的博客 7883

深度解析!如何用Stable Diffusion实现模特精准换装?

来了来了,之前给大家承诺的模特换装教程它来了!本篇教程主要运用 StableDiffusion 这个工具来进行操作,下面会通过几个小案例,给大家展示不同需求下,我们该如何使用 StableDiffusion 来辅助我们完成服装效果展示。本教程适用于电商设计场景、摄影场景等多个运用人物设计的实战中,全程干货,需要大家慢慢吸收,学会后轻松拿捏模特换装,let’s go!

m0_59162248的博客 2098

【01】VisionMaster入门到精通——VisionMaster V4.0.0 试用版安装教程(安装试用补丁与试用授权)

本文详细介绍了海康VisionMaster 4.0.0试用版的安装步骤:首先从官网下载基础安装包、软加密试用版和示例程序(可选);安装时需按顺序完成主程序安装(选择软加密)、试用补丁安装和30天试用授权安装;最后提供了两种启动方式。文章还列出了试用版的7项功能限制,包括最多支持2个流程、2个全局相机等,并特别提醒试用版不维护、不提供补丁,建议用户转为正式版本。安装过程中若出现蓝屏需重启覆盖安装,授权失败时可参考指定解决方案。

程序员,他们想的是什么?他们想的永远都是技术,他们崇尚的也永远都是技术。 8895

(数字图像处理MATLAB+Python)第五章图像增强-第一节:图像增强概述和基于灰度级变换的图像增强

图像增强(Image Enhancement):指不考虑图像降质原因,利用各种数学方法和变换手段,增强图像中人们感兴趣部分或提高有用的图像特征的清晰度。从图像质量来看,图像增强提高了图像的可懂度,改善了图像的视觉效果例如在现实场景中,针对那些对比度较差、视觉效果不好的图像,我们就可以利用图像增强改善视觉质量图像增强可分为如下几种基于灰度级变换的图像增强基于直方图修正的图像增强基于照度反射模型的图像增强基于模糊技术的图像增强基于伪彩色处理的图像增强其他图像增强方法分段线性灰度级变换。

快乐江湖的博客 3333

深度解析!如何用Stable Diffusion实现模特精准换装?_stable diffusion 换装

来了来了,之前给大家承诺的模特换装教程它来了!本篇教程主要运用 StableDiffusion 这个工具来进行操作,下面会通过几个小案例,给大家展示不同需求下,我们该如何使用 StableDiffusion 来辅助我们完成服装效果展示。本教程适用于电商设计场景、摄影场景等多个运用人物设计的实战中,全程干货,需要大家慢慢吸收,学会后轻松拿捏模特换装,let’s go!1. 准备素材一张服装白底图(应用在 controlnet 上);黑白蒙版图(应用在重绘蒙版上)。

m0_71745258的博客 1113

黑猫带你学eMMC协议第12篇:生产状态感知(PSA)

1 概述 1.1 什么是PSA Production State Awareness (PSA) 生产状态感知 e•MMC设备可以利用其是否在生产环境中的信息,从而在现场运作时进行不同的操作。 例如,在设备低温焊接(soldering)前,将数据写入emmc,可能导致数据出错,而正在焊接期间写入数据,出错的概率可能会更大。在低温焊接之前,emmc设备可以使用一种特定的内部操作去加载内容,这样就能减少数据出错的概率,而在低温焊接后进行常规的操作就行了。 1.2 psa如何进行工作? PSA存在于emmc5.0

黑猫奥利奥的博客 4259

深度解析丨StableDiffusion如何实现模特精准换装以及如何替换模特

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

A2421417624的博客 3396

Ros入门 (十)----激光雷达避障 简易实现

本篇文章通过订阅/scan话题获取障碍物的距离信息,达到避障目的,提供部分代码,仅供参考。

weixin_51157015的博客 1万+

使用 MATLAB/Simulink + Simscape Electrical 构建一个他励直流电机的启动与制动过程仿真模型

直流电机在工业控制、电动车辆、自动化设备中广泛应用。其中,他励直流电机(Separately Excited DC Motor)因其励磁绕组与电枢绕组分别供电,具有良好的调速性能和启动特性,常用于需要平稳启动和精确控制的场合。在实际应用中,电机的启动过程和制动过程对电网、机械系统以及电机本身都具有重要影响。因此,仿真分析他励直流电机的启动与制动特性,是电机控制设计的重要环节。本文将详细介绍如何使用构建一个他励直流电机的启动与制动过程仿真模型,并通过仿真分析其动态响应。本文详细介绍了如何使用构建一个。

amy_mhd的博客 231

深度解析丨StableDiffusion如何实现模特精准换装以及如何替换模特_c4d如何将已有人物动作模型的蒙皮替换

来了来了,之前给大家承诺的模特换装教程它来了!本篇教程主要运用StableDiffusion这个工具来进行操作,下面会通过几个小案例,给大家展示不同需求下,我们该如何使用StableDiffusion来辅助我们完成服装效果展示。本教程适用于电商设计场景、摄影场景等多个运用人物设计的实战中,全程干货,需要大家慢慢吸收,学会后轻松拿捏模特换装,需要AI工具的文末扫码获取。

m0_71745258的博客 1750

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

【Stable Diffusion】深度解析ControlNet:最强控制插件与参考风格应用指南

在AI图像生成领域,Stable Diffusion的ControlNet插件以其强大的控制能力脱颖而出。本文将深入解析ControlNet的核心功能,并结合参考风格的应用实践,帮助读者掌握这一工具,解锁更精准、更具创意的图像生成体验。ControlNet:最强控制插件 ControlNet作为StableDiffusion的插件,以其强大的控制能力而闻名。它允许用户在生成图像的过程中,精确控制图像的细节、风格和整体效果。

2401_85688943的博客 791

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

上一篇: AIGC在创意设计中的应用
下一篇: 【AI副业】不花钱,用AI制作毛绒玩偶,一个月卖了6w+
网络安全-XG
博客等级 码龄5年 1万+粉丝 2752原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值