【Stable Diffusion】商业换装如此简单,Segment Anything保姆级教学_stablediffusion安装segment-anything

在SD里面画蒙版难吗?难,可太难了。画面那么小,画笔只能用鼠标涂,工具很少,还时灵时不灵的,想要精确绘制几乎是不可能完成的任务。
在PS里面画蒙版难吗?简单,可太简单了。要快速的,可以用自动选择主题的工具;要精确的,可以用钢笔慢慢抠图。
但是呢,流程麻烦。SD去PS,图片要不停地导入导出,不能实时调整,而且关键是有人还不会PS怎么办?

对于我们大多数人来说,能在一个软件里解决的事,就绝对不开第二个软件!

秉承着这个信念,今天给大家介绍一款SD中的抠图神器——Segment Anything。

Segment
Anything是一种基于深度学习算法的图像分割工具,它可以将图像当中的每一个像素分配到对应的区域当中,能够实现精准的边缘识别。与传统的分割工具相比,它的优势就在于自动检测,大大提高了分割效率。

#SAM模型分割

1、在扩展面板中使用网址安装Segment Anything 。guthub地址:https://github.com/continue-
revolution/sd-webui-segment-anything

2、重启之后,可以看到安装好的Segment Anything插件 ,此时还需要安装SAM模型。

3、在guthub上有三个SAM模型,由大到小分别是vit_h(2.56GB)、vit_l(1.25GB)、vit_b(375MB)
,越大的模型效果越好,但是占用的显存越多,大家酌情而定。大部分情况下,选择vit_l就可以了。

4、我已经放在云盘里了,大家把下载好的SAM模型放在这个路径下“……\sd-webui-aki-v4\extensions\sd-webui-
segment-anything\models\sam”。

5、我们来测试一下SAM模型的效果,左键点击要保留的部分打上黑点,右键点击不要的部分打上红点,双击不需要的点可以进行移除。

6、点击预览分离结果,可以看到SAM替我们分离出来的三个方案,第一个差一点;第二个分离出来了上衣,可以进行服装替换;第三个分离出来了人物,可以进行背景替换。

7、现在我想使用第二个蒙版来进行服装替换,所以我选择编号为1的蒙版。

8、点开“展开蒙版设置”,可以设定蒙版扩展量,就相当于是把蒙版扩展出一部分,让更换信息被充分包裹。这边扩展量建议30,跟着它说的做就行,然后点击发送到“重绘蒙版”。

9、这时,我们就来到了图生图中,其实刚才的图片已经进入“上传重绘蒙版”了,只是有bug我们看不见。当然,如果出现错误的话,也可以手动保存蒙版。

10、接下来就是我们的换衣步骤了。提示词输入“蓝色毛衣”,蒙版区域内容处理改为“填充”,尺寸改为和图像一致,重绘幅度为1。

8、因为蒙版区域比较大,所以AI在填写内容的过程中,有可能会出现这种和之前的手衔接不上的问题。

9、我们可以通过降低重绘幅度,或者是添加一个openpose来控制人物的身体,得到正确的姿势。

10、除了使用图生图的局部重绘以外,我们还可以使用controlnet的局部重绘功能,控制模式选择“更注重提示词”。至于具体用哪一个,大家自己试验,选效果好的就行。

# GroundingDINO模型分割

但有的时候,我们需要更精确一点的蒙版,比如人物的眼睛,或者是身上的配饰等等。

单靠SAM模型就很难得到想要的蒙版了,这个时候我们就需要使用到segment anything中的GroundingDINO了。

启用GroundingDINO,AI会自动下载模型,此时会需要用魔法,没有魔法的同学可以去我的云盘直接下载。

放到这个文件目录下“……sd-webui-aki-v4.2\extensions\sd-webui-segment-
anything\models\grounding-dino”

点击启用,在检测提示词中输入“eye”,AI就可以根据语义分割帮我们自动检测出眼睛的部分,并设置好蒙版。

我们还可以通过预览箱体,来得到两只眼睛的编号,通过编号可以选择调整单一的眼睛。比如,我只想调整左边那只眼睛,我就只需要勾选1就可以了。

和刚才一样,选择我们想要修改的蒙版,上传到重绘蒙版当中。

添加提示词“闭眼”。

点击生成,可以看到图片就修改好了。

我们再来给人物换个背景试试,加载刚才生成的背景蒙版。

大模型选择 revAnimated_v122,正向提示词:简单背景、花、国画、工笔。

蒙版模式选择“重绘非蒙版内容”。

得到这张图片,头发的部分没有抠太好。

我们将它再次放入图生图中,使用tile模型做一次整体细化,除了融合人物之外,还能给人物的衣服也添加上国风元素。

生成,人物好像变得高级了一些。

来到PS,使用创成式填充修复一下头发。

完成啦。

# 补充说明
如果在以上使用过程中发生错误,那么你可能需要部署一下使用环境,我们再次开启最傻瓜安装教学模式。

1.安装cuda_11.8.0_522.06_windows.exe。

2.安装VisualStudioSetup.exe
,选择C++的桌面开发安装。以上步骤,我们在安装roop的时候也做过,如果安装过roop的可以跳过。

**3.拷贝ninja,**打开ninja文件包,把里面的内容拷贝到秋叶包根目录。

**4.拷贝python,**打开python文件包,把里面的内容拷贝到秋叶包根目录替换。

**5.拷贝模型,**SAM和GroundingDINO的模型都在这了,放到对应的文件夹即可。

6.**重启,**装好了,重启电脑,即可运行。

以上,就是关于segment
anything插件的安装教程和使用方法讲解,这个软件最大的作用,就是帮助我们快速高效的生成蒙版,从而进行人物的换装或者图片中元素的替换。

如果想要获取插件安装包的话,文末扫码找我拿就行了!

但由于AIGC刚刚爆火,网上相关内容的文章博客五花八门、良莠不齐。要么杂乱、零散、碎片化,看着看着就衔接不上了,要么内容质量太浅,学不到干货。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》,相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友,可以长按下方二维码,免费领取!

在这里插入图片描述

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去,那么我的使命也就完成了:
在这里插入图片描述

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合,通过使用AIGC工具库,能更加快速,准确的辅助我们学习AIGC
在这里插入图片描述

有需要的朋友,可以点击下方卡片免费领取!

精品AIGC学习书籍手册

书籍阅读永不过时,阅读AIGC经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验,结合自身案例融会贯通。

在这里插入图片描述

AI绘画视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,科学有趣才能更方便的学习下去。

在这里插入图片描述

有需要的朋友,可以长按下方二维码,免费领取!

在这里插入图片描述

### 如何结合使用 Stable DiffusionSegment Anything 模型 为了使 Stable Diffusion 能够利用 Segment Anything 的功能来增强图像处理能力,具体操作流程如下: #### 准备工作环境 确保已经安装Stable Diffusion WebUI 并能够正常运行。接着,在扩展管理界面中查找并安装 `sd-webui-segment-anything` 插件[^2]。 #### 下载 SAM 模型文件 根据需求选择合适的 SAM 模型版本进行下载。对于大多数应用场景而言,推荐下载较大规模的 vit_h 版本以获得更优的效果,尽管这会占用更多显存资源。下载链接可参照官方 GitHub 页面获取,并将模型放置于指定目录:“...\sd-webui-aki-v4\extensions\sd-webui-segment-anything\models\sam”。如果遇到网络问题无法直接从GitHub下载,可以考虑其他第三方提供的镜像源,比如 mobile_sam.pt 文件可以通过特定网盘链接下载[^3][^4]。 #### 配置与测试 完成上述准备工作之后,重启 Stable Diffusion WebUI 应用程序使得新加载的组件生效。此时应该可以在界面上看到由 sd-webui-segment-anything 提供的新特性选项,如基于文本提示词的目标检测框绘制以及自动抠图等功能。通过这些工具可以帮助用户更加精准地定义想要修改或保留的画面区域,从而提高最终生成图片的质量和可控度。 ```bash cd stable_diffusion_webui_docker/extensions/sd-webui-segment-anything/models/sam bypy downfile /stable_diffusion/extensions/segment_anything/sam_vit_h_4b8939.pth sam_vit_h_4b8939.pth ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值