StableDiffusion ControlNet 涂鸦转换就是这么简单

2024最新controlnet详解:Scribble(涂鸦) Scribble 也可以用来处理真实的图片,与Canny、Lineart、SoftEdge相比,最大的变化就是,构图会发生一些变化,而且它没有对图片深度的处理。 阅读详情

文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,。有需要的小伙伴文末扫码自行获取。

今天我们继续讲解 ControlNet 中的 Scribble(涂鸦) 模型,顾名思义,就是将图片转成涂鸦手稿,类似手画的草稿一样。

一 Scribbles 涂鸦处理器

目前 ControlNet 提供了三种 预处理器 来提取图片特征,分别是:

  • Scribble HED: Holistically-Nested Edge Detection[1] (HED)是一个边缘检测器,擅长像真人一样生成轮廓。HED 适用于重新着色和重新设计图像。

  • Scribble Pidinet:Pixel Difference network[2] (Pidinet) 用于检测曲线和直边。它的结果与HED 类似,但通常会产生更清晰的线条和更少的细节。

  • Scribble xdog:EXtended Difference of Gaussian[3] (XDoG) 可用于边缘检测。可以通过调整 xDoG 阈值控制特征的细节

直接上图查看对比效果

原图

特征提取

步骤:

  • 上传原图

  • 启用,并打开 Allow Preview 预览

  • 选择预处理器,模型可以先不用选。提取特征图只需要选 预处理器即可

  • 点击预处理和模型中间的 💥 图标进行特征提取

最后我们可以得到3种特征图的效果图

可见,默认情况下可以直接使用 HED 预处理器能得到一个比较粗糙的但包含细节的线条;使用 Pidinet 能够得到大致的轮廓且不包含细节。最后 xdong
则可以进行调整参数控制细节。

二 特征图提取后出图

ControlNet 提取后出图

直接基于上面的三个特征图看看出图效果比较

为了保证出图的效果尽可能的减少非 特征图的影响。我们把参数和种子都设置成一样的。最后可以得到下图效果

参数设置

模型:cetusMix_v4

正向提示词:(masterpiece:1,2), best quality, best detail, lora:add_detail:1,
an oil painting of a feminine person in a field, standing near tall grass,
1girl, hat, solo, long hair

反向提示词:((nsfw)),blush,extra fingers,fewer fingers,(low quality, worst
quality:1.4), (bad anatomy), (inaccurate limb:1.2),bad composition, inaccurate
eyes, extra digit,fewer digits,(extra arms:1.2),umbrella,

采样器:DPM++ 2M Karras

不同的预处理器出图效果

三 直接上传涂鸦特征图出图

如果我们已经有了一张涂鸦特征图,希望根据提供的提示词渲染上色,那就可以直接使用 Scribble 模型,不需要使用预处理器;

找一个涂鸦特征图:

设置合适的提示词和参数:

正向提示词:(masterpiece:1,2), best quality, best detail, lora:add_detail:1,
1girl,night city,rain,coat,hands in pockets

ControlNet 中可以看到只需要设置模型,不需要在设置预处理器了,我们提供的图就是特征图了!

出图效果:

可见不管是将图片转换成涂鸦草稿,还是直接上传草稿进行渲染出图都是非常方便的!

三种不同的预处理器也很好理解。没有太多的需求,就选 HED。如果只需要轮廓就选 Pidinet,xdog 则比较适合细节控的需求!

但由于AIGC刚刚爆火,网上相关内容的文章博客五花八门、良莠不齐。要么杂乱、零散、碎片化,看着看着就衔接不上了,要么内容质量太浅,学不到干货。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》,相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友,可以长按下方二维码,免费领取!

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去,那么我的使命也就完成了:
在这里插入图片描述

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合,通过使用AIGC工具库,能更加快速,准确的辅助我们学习AIGC
在这里插入图片描述

有需要的朋友,可以点击下方卡片免费领取!

精品AIGC学习书籍手册

书籍阅读永不过时,阅读AIGC经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验,结合自身案例融会贯通。

在这里插入图片描述

AI绘画视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,科学有趣才能更方便的学习下去。

在这里插入图片描述

有需要的朋友,可以长按下方二维码,免费领取!

ControlNet引导生成图像的详细教程 controlnet引导stable diffusion生成图像使用教程,边缘检测、深度估计、涂鸦、分割等 阅读详情

相关推荐

【AIGC专栏】StableDiffusion的ControlNet模型

openpose有6个预处理器,一openpose , openpose face姿态和脸部,openpose faceonly仅脸部,openpose full姿态手部 脸部,openpose hand手部。一般用于建筑室内,室内结构和场景的绘制,在结构化的场景中,我们可以依据这些场景的定义生成相应的建筑设计,它可以实现当前结构中的直线条或者轮廓线等等。软边缘与canny差不多,相比Canny,他会生成大的轮廓线,也会生成小的轮廓线,差别在于生成过程中先生成大的轮廓线再来细节部分。

技术与管理的平衡木- 403

AI绘画Stable Diffusion:ControlNet组件—Scribble(涂鸦)赋予用户精细控制权,让涂鸦草图焕发生命力

ControlNet Scribble插件允许用户通过直接在图像上绘制或涂鸦,指定希望在生成输出中看到的修改、编辑或属性等方法。通过使用ControlNet Scribble插件,用户可以对生成的图像拥有更精细的控制权。模型会考虑标记区域或注释,并将其作为额外的指导来影响SD绘图生成的输出。该插件使得用户能够在AIGC绘图过程中,参与到绘图结果塑造,并根据个人喜好进行输出定制。

A1353192296的博客 3261

如何使用 ControlNet 和 OpenVINO 控制您的 StableDiffusion模型

我们将探讨如何使用 ControlNet 和 OpenVINO 控制您的稳定扩散模型。众所周知,稳定的扩散模型可用于模拟各种自然现象,但其固有的随机噪声使其难以获得准确的结果。但是,借助 ControlNet 和 OpenVINO,您可以控制您的模型并生成可靠的预测。和我一起探索稳定扩散模型的世界,发现这些强大的工具如何帮助我们在研究和分析中取得突破。在过去几个月,也许是过去一年,生成式 AI 模型呈指数级增长。最具影响力的发展之一与“稳定扩散”生态系统有关。

iCloudEnd的博客 913

【Stable Diffusion】ControlNet基本教程(二)

接上篇【Stable Diffusion】ControlNet基本教程(一),本篇介绍两个ControlNet常见的基本用法:漫画线稿上色和随机涂鸦生成 。

weixin_47970003的博客 1748

从零搭建A股量化交易系统:开源框架选型与实战部署指南

本文详细介绍了从零搭建A股量化交易系统的完整流程,重点分析了开源框架VNPY和QMT的选型与实战部署。内容涵盖系统架构设计、策略开发、性能优化及实盘过渡方案,为开发者提供了一套完整的A股实盘量化交易解决方案,助力高效构建稳定可靠的量化交易系统。

sugar的博客 1280

AI量化交易工作台Vibe-Trading:用自然语言驱动策略回测与多智能体研究

量化交易通过数学模型和计算机程序执行投资决策,其核心在于将市场规律转化为可验证的策略。传统量化开发涉及数据获取、策略编写、回测验证等复杂工程,对非编程背景的从业者构成较高门槛。随着大语言模型技术的发展,自然语言交互正成为降低技术使用难度的关键。Vibe-Trading项目正是这一趋势的实践,它将金融工程任务封装为可调用的工具与技能,允许用户通过自然语言指令直接驱动策略回测、因子研究和投资组合分析。其技术价值在于构建了一个模块化的AI Agent框架,通过ReAct推理框架协调多个专项技能,并创新性地引入多智

weixin_28695161的博客 1568

今日3款Stable Diffusion模型推荐,让你轻松成为AI作图大师!模型推荐系列

今天又给大家带了三款不错的模型推荐给大家,需要的朋友可以根据链接自行获取。今天给大家继续推荐三款AI作图模型。2024-03-17 今日3款模型推荐:1、类型 Checkpoint**推荐理由:**专门为生成人物照片而设计的。能够以惊人的逼真度创造出照片般真实的人物形象作品赏析:2、类型 Checkpoint**推荐理由:**一款非常灵活的模型,能够产生各种风格的杰出人物、风景、建筑等。作品赏析:3、Analog Madness - Realistic model 类型推荐理由。

Misdirection_XG的博客 920

基于PyQt5和OpenCV的传统图像分割应用UI程序

主要功能包括:加载和显示图像应用多种图像分割算法调整算法参数保存处理结果。

Henry的博客 474

【stablediffusion教程】16种controlnet详细使用方法总结

tile用法非常多,就使用而言,目前是我使用感觉最强的一个controlnet模型,特别是在还原图片风格上,因为是分块重采样,基本完美复刻,同时高清修复效果细节也远超普通放大算法。出来的图片上进行添加色块,segmentation有一个物体与色块对应表,例如画一个桌子,涂上对应的颜色,经过controlnet绘制,可以更加精准生成一张桌子。带你从零基础系统性的学好AI绘画!风格融合,可以上传一张如水墨,油画,科技画风图片,经过预处理器通过controlnet会与原模型风格进行融合,生成一张融合风格的图片。

A2421417624的博客 837

华为OD机考双机位C卷 - 池化资源共享 (Java & Python& JS & C/C++ & GO )

华为OD机考双机位C卷 - 池化资源共享 (OD上机考试双机位C卷)。提供Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。

算法大师! 1073

【芯片设计- RTL 编译与仿真 1.2 -- Visualizer 常用使用命令】

打开波形后,如果想要看到所有信号的数据,可以点击下图中红框中的按钮,因为默认verdi 默认并不是显示所用信号。如果想统计某一个信号中有多少笔数据时,可以使用 Expression->Edege Count 功能。如下图所示,如果没有打开前导0的功能时,当某一笔数据位0时,只会显示1个0。如果需要将波形的数据导出到文本文件时,可以按照下面步骤进行。打开前导0功能之后,会根据数据位宽来显示对应0的个数。

CodingCos的博客 2050

【限时特惠】项目实战:用ControlNet构建一个“智能涂鸦转艺术画生成器”,只需100行代码!

你是否曾遇到以下问题:想把孩子的涂鸦变成精美插画,却缺乏专业绘画技能?设计师需要快速将草图转化为效果图,传统工具流程繁琐?ControlNet(控制网络)技术的出现彻底改变了这一现状,它允许用户通过简单的线条、涂鸦或草图精确控制AI图像生成过程。本文将带你从零开始构建一个功能完备的智能涂鸦转艺术画生成器,全程仅需100行核心代码,即使是AI新手也能轻松掌握。 读完本文后,你将获得: - 一套完整...

gitblog_02363的博客 528

【深度学习|多实例学习】多实例学习(Multiple Instance Learning, MIL)的起源、发展和应用,附代码(一)

【深度学习|多实例学习】多实例学习(Multiple Instance Learning, MIL)的起源、发展和应用,附代码(一)

2401_89898861的博客 1930

使用 Diffusers 实现 ControlNet 高速推理

自从 Stable Diffusion 风靡全球以来,人们一直在寻求如何更好地控制生成过程的方法。ControlNet 提供了一个简单的迁移学习方法,能够允许用户在很大程度上自定义生成过程。通过,用户可以轻松地使用多种空间语义条件信息 (例如深度图、分割图、涂鸦图、关键点等) 来控制生成过程。具体来说,我们可以:将卡通绘图转化为逼真的照片,同时保持极佳的布局连贯性。写实版的 Lofi Girl (上: 原图,下: 新图)进行室内设计。将涂鸦草图变成艺术作品。甚至拟人化著名的 logo 形象。

Gefangenes的博客 1169

飞牛NAS新增虚拟机功能,如果使用虚拟机网卡直通安装ikuai软路由(如何解决OVS网桥绑定失败以及打开ovs后无法访问飞牛nas等问题)

飞牛NAS新增虚拟机功能,如果使用虚拟机网卡直通安装ikuai软路由

XiaoqiangClub的博客 1万+

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

室内设计神器:ControlNet MLSDSeg 实现令人惊叹的视觉转换

ControlNet是一种通过添加额外条件来控制扩散模型的AI神经网络结构,它提供了一种增强稳定扩散的方法。在文本生成图像的过程中,使用诸如涂鸦、边缘映射、分割映射、pose关键点等条件输入,可使生成图像更接近输入图像,对比传统图像到图像的生成方式有大幅的改进。对初识Stable Diffusion的小伙伴们来说,看到ControlNet有这么多预处理器选项,一定很抓狂。是的,随着ControlNet插件的不断更新,在v1.1.227版本,已经内置了15种预处理器。

HJS123456780的博客 1137

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

【AIGC】Stable Diffusion的ControlNet参数入门

结束控制的步数:这是指在生成图像的过程中,模型停止使用 ControlNet控制网络来指导图像生成之前的步骤数量。启动控制的步数:这是指在生成图像的过程中,模型开始使用 ControlNet 控制网络来指导图像生成之前的步骤数量。通过调节启动控制的步数和结束控制的步数,可以灵活地控制 ControlNet 控制网络在图像生成过程中的作用程度,以获得满意的生成结果。Diffusion中的一个组件,用于对输入的控制信号或特征进行预处理和编码,以便在生成过程中更好地指导模型生成所需的图像。ControlNet。

qq_27070223的博客 3277

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

ControlNet各个控制类型功能讲解-SD新手手册stablediffusion

ControlNet的各个控制类型都是干什么的讲解-个人版如有更好的解释意见,欢迎评论区交流1:Canny解释:线稿这是一个非常常用,很厉害的控制器,它可以把你上传的图片,直接检测变为一个线稿,AI再绘画的时候,就会按照你给他的线稿来绘画,可以精准稳定的控制ai绘制的图片上边的案例图可以看到,上传了一个小狗的图片,经过canny预处理器处理为线稿后再绘画,ai新绘制出来的图和线稿基本一致,如果你线稿足够惊喜,那么ai绘画也会足够精细。

m0_64365896的博客 746

AI绘画Stable Diffusion最强控制插件ControlNet 附模型下载

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

白帽阿叁的博客 2254

室内设计神器:ControlNet MLSD/Seg 实现令人惊叹的视觉转换

ControlNet是一种通过添加额外条件来控制扩散模型的AI神经网络结构,它提供了一种增强稳定扩散的方法。在文本生成图像的过程中,使用诸如涂鸦、边缘映射、分割映射、pose关键点等条件输入,可使生成图像更接近输入图像,对比传统图像到图像的生成方式有大幅的改进。对初识Stable Diffusion的小伙伴们来说,看到ControlNet有这么多预处理器选项,一定很抓狂。是的,随着ControlNet插件的不断更新,在v1.1.227版本,已经内置了15种预处理器。

A2421417624的博客 1580

【AI绘画Stable Diffusion进阶】室内设计神器:ControlNet MLSDSeg 实现令人惊叹的视觉转换

你是否已经厌倦了传统的室内设计方式,想探索新方法来增强作品设计感?本期小编就同大家分享一个新武器,用StableDiffusion的ControlNet来打造一个室内设计全新工作流。无论你是经验丰富的室内设计师还是初学小白,都将使你的日常工作如虎添翼、告别爆肝,焕发出令甲方爸爸们赞叹的设计感。ControlNet将毛坯房照片转换为高清室内装饰效果图ControlNet是一种通过添加额外条件来控制扩散模型的AI神经网络结构,它提供了一种增强稳定扩散的方法。

军火库 1146

【AI绘画Stable Diffusion进阶】室内设计神器:ControlNet MLSD/Seg 实现令人惊叹的视觉转换

ControlNet是一种通过添加额外条件来控制扩散模型的AI神经网络结构,它提供了一种增强稳定扩散的方法。在文本生成图像的过程中,使用诸如涂鸦、边缘映射、分割映射、pose关键点等条件输入,可使生成图像更接近输入图像,对比传统图像到图像的生成方式有大幅的改进。对初识Stable Diffusion的小伙伴们来说,看到ControlNet有这么多预处理器选项,一定很抓狂。是的,随着ControlNet插件的不断更新,在v1.1.227版本,已经内置了15种预处理器。

HJS123456780的博客 1255
上一篇: AI绘画Stable Diffusion:高清分辨率更灵活可控图像增强模型
下一篇: stablediffusion高重绘强度下保持画面不变的tile模型详解
不秃头de程序猿
博客等级 码龄5年 4091粉丝 1480原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值