StableDiffusion ControlNet 涂鸦转换就是这么简单

文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,。有需要的小伙伴文末扫码自行获取。

今天我们继续讲解 ControlNet 中的 Scribble(涂鸦) 模型,顾名思义,就是将图片转成涂鸦手稿,类似手画的草稿一样。

一 Scribbles 涂鸦处理器

目前 ControlNet 提供了三种 预处理器 来提取图片特征,分别是:

  • Scribble HED: Holistically-Nested Edge Detection[1] (HED)是一个边缘检测器,擅长像真人一样生成轮廓。HED 适用于重新着色和重新设计图像。

  • Scribble Pidinet:Pixel Difference network[2] (Pidinet) 用于检测曲线和直边。它的结果与HED 类似,但通常会产生更清晰的线条和更少的细节。

  • Scribble xdog:EXtended Difference of Gaussian[3] (XDoG) 可用于边缘检测。可以通过调整 xDoG 阈值控制特征的细节

直接上图查看对比效果

原图

特征提取

步骤:

  • 上传原图

  • 启用,并打开 Allow Preview 预览

  • 选择预处理器,模型可以先不用选。提取特征图只需要选 预处理器即可

  • 点击预处理和模型中间的 💥 图标进行特征提取

最后我们可以得到3种特征图的效果图

可见,默认情况下可以直接使用 HED 预处理器能得到一个比较粗糙的但包含细节的线条;使用 Pidinet 能够得到大致的轮廓且不包含细节。最后 xdong
则可以进行调整参数控制细节。

二 特征图提取后出图

ControlNet 提取后出图

直接基于上面的三个特征图看看出图效果比较

为了保证出图的效果尽可能的减少非 特征图的影响。我们把参数和种子都设置成一样的。最后可以得到下图效果

参数设置

模型:cetusMix_v4

正向提示词:(masterpiece:1,2), best quality, best detail, lora:add_detail:1,
an oil painting of a feminine person in a field, standing near tall grass,
1girl, hat, solo, long hair

反向提示词:((nsfw)),blush,extra fingers,fewer fingers,(low quality, worst
quality:1.4), (bad anatomy), (inaccurate limb:1.2),bad composition, inaccurate
eyes, extra digit,fewer digits,(extra arms:1.2),umbrella,

采样器:DPM++ 2M Karras

不同的预处理器出图效果

三 直接上传涂鸦特征图出图

如果我们已经有了一张涂鸦特征图,希望根据提供的提示词渲染上色,那就可以直接使用 Scribble 模型,不需要使用预处理器;

找一个涂鸦特征图:

设置合适的提示词和参数:

正向提示词:(masterpiece:1,2), best quality, best detail, lora:add_detail:1,
1girl,night city,rain,coat,hands in pockets

ControlNet 中可以看到只需要设置模型,不需要在设置预处理器了,我们提供的图就是特征图了!

出图效果:

可见不管是将图片转换成涂鸦草稿,还是直接上传草稿进行渲染出图都是非常方便的!

三种不同的预处理器也很好理解。没有太多的需求,就选 HED。如果只需要轮廓就选 Pidinet,xdog 则比较适合细节控的需求!

但由于AIGC刚刚爆火,网上相关内容的文章博客五花八门、良莠不齐。要么杂乱、零散、碎片化,看着看着就衔接不上了,要么内容质量太浅,学不到干货。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》,相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友,可以长按下方二维码,免费领取!

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去,那么我的使命也就完成了:
在这里插入图片描述

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合,通过使用AIGC工具库,能更加快速,准确的辅助我们学习AIGC
在这里插入图片描述

有需要的朋友,可以点击下方卡片免费领取!

精品AIGC学习书籍手册

书籍阅读永不过时,阅读AIGC经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验,结合自身案例融会贯通。

在这里插入图片描述

AI绘画视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,科学有趣才能更方便的学习下去。

在这里插入图片描述

有需要的朋友,可以长按下方二维码,免费领取!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值