AI绘画一键智能填充上色?Stable Diffusion进阶篇:AI线稿上色!

Stable Diffusion 绘画入门教程(webui)-ControlNet(IP2P) 上篇文章介绍了深度Depth,这篇文章介绍下IP2P(InstructP2P), 通俗理解就是图生图,给原有图加一些效果 阅读详情

前言

所以今天要学习的是另一个大多数人或许都用得上的知识点-线稿上色。

对于插画师来说,线稿一般是用来绘制大概画面和构思创意的方式,差不多就是打草稿。而一张完整的插画需要经过线稿-上色-光影-细节修补等环节。

像是很早前在学习SD时说过的,AI绘画其中的一大问题就是随机性,对于那些有着严格细节把控或者说甲方要求频繁改动的画师来说,AI绘画并不是一个很好的选择。

不过在我们的ControlNet这类可以“摁”着AI的手不要让它乱画的工具出现之后,AI绘画或许在逐渐进入到商业画师的视野。

很好地将AI融入到了自己的工作流程中

这位职业插画师曾经参与过《封神》、《刺杀小说家》、《将夜》等热门电影电视剧的海报制作。

今天的学习内容就是跟着小南老师学习如何把一张线稿丢给AI,让AI来干接下来的活。

第一步:线稿绘制

一般专业插画师都会在专业的绘制软件或者PS上进行线稿的绘制,这里就借用原视频UP分享的格子老师的线稿作为学习资料(感兴趣可以去文末领取)。

第二步:进入文生图中的ControlNet

为啥选择的是文生图而不是图生图中的ControlNet,因为这样做可以完全排除线稿图片本身颜色对生成画面的影响,设置参数如下:

预处理器:invert(from white bg& black line)白底黑线

**模型:control_v11p_sd15_lineart
**

控制权重:1.1

LineArt在这样完成度比较高的线稿上实现的控制效果更为精确,上篇笔记所用的SoftEdge则会给AI更多的发挥空间。

**第三步:提示词和模型参数设置
**

在这里选择的CheckPoint是那种场景人物细节都拉满表现还不错的模型

查阅、整理和输出教程属实不易,觉得这篇教程对你有所帮助的话,可以点击👇二维码领取资料
在这里插入图片描述

Lora选择的则是赛博朋克写实风格

**正向提示词:**best quality,(masterpiece),In the cyberpunk city rainy night,only the light of the LCD screen,a cool cyberpunk girl standing at the intersection of cyberpunk street in the heavy rain,back,slender sexy waist,she looked up at the huge screen composed of nine LCD monitors in front of her,showing the beautiful girl’s flowing rain face,she was wearing a yellow short plastic jacket and low-waisted sexy tight functional pants,showing the edge of underwear,tied with a high ponytail hairstyle,half-length portrait,the background is dense buildings,backlight,futuristic,photorealistic,background of future science and technology,Center the composition,Unreal Engine,Cyberpunk light,8K Resolution,high detail,hyperquality,fantasy,futuristic,Purple light effect,<lora:超写实赛博朋克美女_v1:0.8>,

**反向提示词:**nsfw,(worst quality:1.6), (low quality:1.6), (normal qualiy:1.6),EasyNegative,ng_deepnegative_v1_75t,watermark,logo,text,signature,artist name,bad anatomy, wrong anatomy, extra limb, missing limb,floating limbs, disconnected limbs, mutation, mutated, ugly, disgusting, blurry,amputation, tattoo, cropped, backlight,monochrome,

其余参数:

迭代30、DPM++2M Karras、769*1024、种子2964646560

这里不建议使用高分辨率修复,因为出来的图会比较奇怪。

正如我之前所说的,AI的产出带有随机性,所以格子老师在这里会选择生成多张图片来挑选最适合的作为底图。

如果显存超过12GB的话可以将总批次数选择为4、单批数量选择4。这样就可以让AI一次画多张图,提升“抽卡”的效率。

在批量生成后选择一张最让自己满意的图片,这张底图不需要太完美,即便是有一些细节上的偏差,都可以随时在结构相似的另一张图里找到“备用方案”,这也是大批量生产的好处。

之后再将符合自己预期的地方截取出来拼接在底图上,为了避免细节不会因为放大模糊,格子老师还通过后期处理的SwinIR 4X放大算法将这些图片超分到4K左右的级别。

**(原图超过10M,这个是我直接截图出来的)
**

之后格子老师会将最喜欢的底图放进PS中进行细节上的处理,例如哪些地方细节不满意就直接从别的图摘过来拼接之类的,在细节处理都搞定之后成品也就完成了!

白毛可太戳我了!


今天的内容就到这里结束啦!

目前 ControlNet 已经更新到 1.1 版本,相较于 1.0 版本,ControlNet1.1 新增了更多的预处理器和模型,每种模型对应不同的采集方式,再对应不同的应用场景,每种应用场景又有不同的变现空间

我花了一周时间彻底把ControlNet1.1的14种模型研究了一遍,跑了一次全流程,终于将它完整下载好整理成网盘资源。

其总共11 个生产就绪模型、2 个实验模型和 1 个未完成模型,现在就分享给大家,点击下方卡片免费领取。

img

1. 线稿上色

**方法:**通过 ControlNet 边缘检测模型或线稿模型提取线稿(可提取参考图片线稿,或者手绘线稿),再根据提示词和风格模型对图像进行着色和风格化。

**应用模型:**Canny、SoftEdge、Lineart。

Canny 示例:(保留结构,再进行着色和风格化)

img

2. 涂鸦成图

方法:通过 ControlNet 的 Scribble 模型提取涂鸦图(可提取参考图涂鸦,或者手绘涂鸦图),再根据提示词和风格模型对图像进行着色和风格化。

应用模型:Scribble。

Scribble 比 Canny、SoftEdge 和 Lineart 的自由发挥度要更高,也可以用于对手绘稿进行着色和风格处理。Scribble 的预处理器有三种模式:Scribble_hed,Scribble_pidinet,Scribble_Xdog,对比如下,可以看到 Scribble_Xdog 的处理细节更为丰富:

img

Scribble 参考图提取示例(保留大致结构,再进行着色和风格化):

img

3. 建筑/室内设计

**方法:**通过 ControlNet 的 MLSD 模型提取建筑的线条结构和几何形状,构建出建筑线框(可提取参考图线条,或者手绘线条),再配合提示词和建筑/室内设计风格模型来生成图像。

**应用模型:**MLSD。

MLSD 示例:(毛坯变精装)

img

这份完整版的ControlNet 1.1模型我已经打包好,需要的点击下方插件,即可前往免费领取!

4. 颜色控制画面

**方法:**通过 ControlNet 的 Segmentation 语义分割模型,标注画面中的不同区块颜色和结构(不同颜色代表不同类型对象),从而控制画面的构图和内容。

**应用模型:**Seg。

Seg 示例:(提取参考图内容和结构,再进行着色和风格化)

img

如果还想在车前面加一个人,只需在 Seg 预处理图上对应人物色值,添加人物色块再生成图像即可。

img

5. 背景替换

**方法:**在 img2img 图生图模式中,通过 ControlNet 的 Depth_leres 模型中的 remove background 功能移除背景,再通过提示词更换想要的背景。

**应用模型:**Depth,预处理器 Depth_leres。

**要点:**如果想要比较完美的替换背景,可以在图生图的 Inpaint 模式中,对需要保留的图片内容添加蒙版,remove background 值可以设置在 70-80%。

Depth_leres 示例:(将原图背景替换为办公室背景)

img

6. 图片指令

**方法:**通过 ControlNet 的 Pix2Pix 模型(ip2p),可以对图片进行指令式变换。

应用模型:ip2p,预处理器选择 none。

**要点:**采用指令式提示词(make Y into X),如下图示例中的 make it snow,让非洲草原下雪。

Pix2Pix 示例:(让非洲草原下雪)

img

7. 风格迁移

**方法:**通过 ControlNet 的 Shuffle 模型提取出参考图的风格,再配合提示词将风格迁移到生成图上。

**应用模型:**Shuffle。

Shuffle 示例:(根据魔兽道具风格,重新生成一个宝箱道具)

img

8. 色彩继承

**方法:**通过 ControlNet 的 t2iaColor 模型提取出参考图的色彩分布情况,再配合提示词和风格模型将色彩应用到生成图上。

**应用模型:**Color。

Color 示例:(把参考图色彩分布应用到生成图上)

img

这份完整版的ControlNet 1.1模型我已经打包好,需要的点击下方插件,即可前往免费领取!
在这里插入图片描述

这里就简单说几种应用:

1. 人物和背景分别控制

2. 三维重建

3. 更精准的图片风格化

4. 更精准的图片局部重绘

以上就是本教程的全部内容了,重点介绍了controlnet模型功能实用,当然还有一些小众的模型在本次教程中没有出现,目前controlnet模型确实还挺多的,所以重点放在了官方发布的几个模型上。

同时大家可能都想学习AI绘画技术,也想通过这项技能真正赚到钱,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学,因为自身做副业需要,我这边整理了全套的Stable Diffusion入门知识点资料,大家有需要可以直接点击下边卡片获取,希望能够真正帮助到大家。

img

ControlNet引导生成图像的详细教程 controlnet引导stable diffusion生成图像使用教程,边缘检测、深度估计、涂鸦、分割等 阅读详情

相关推荐

使用AI人工智能给线稿上色,给漫画上色(二)

【深度学习】AIGC ,ControlNet 论文中的图。一些酷炫的可以做纵深领域的图,这里再放一下。

q742971636的博客 1450

使用ControlNet 控制 Stable Diffusion

来源:DeepHub IMBA 本文约1500字,建议阅读6分钟本文将要介绍整合HuggingFace的diffusers 包和ControlNet调节生成文本到图像,可以更好地控制文本到图像的生成。ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。它提供了一种增强稳定扩散的方法,在文本到图像生成过程中使用条件输入,如涂鸦、边缘映射、分割映射、pose关键点等。可以让生成的图...

数据派THU 1万+

TMS320F280049C 学习笔记11 控制率加速器 CLA 例程

总结了TI官方在C2000Ware_3_01_00_00版本中提供的7个与CLA相关的例程。

whyorwhnt的专栏 1万+

ControlNet

 <img src="file:///C:/DOCUME~1/ffwen.AP/LOCALS~1/Temp/msohtmlclip1/01/clip_image001.gif" alt="Text Box: “采用ControlNet的道理人们已经论证过多次,系统也被证实可靠、容易使用。在整个系统中,关于工艺或者单个马达、驱动器或者控制元件的详细的信息都可以得到,不论是在中控室,还是在现场任何

FredTaishan的专栏 6391

保姆级教程:在SIwave 2024 R2中搞定TDR仿真,手把手教你分析USB 3.0差分线阻抗

本文提供了一份详细的SIwave 2024 R2 TDR仿真教程,重点讲解如何分析USB 3.0差分线阻抗。从项目准备、参数配置到结果分析,逐步指导工程师完成完整的仿真流程,并分享实战经验和高级技巧,帮助提升信号完整性分析能力。

weixin_33670786的博客 498

Windows下用RKDevTool解包update.img的完整流程(含常见错误排查)

本文详细介绍了在Windows系统下使用RKDevTool工具解包update.img固件的完整流程。从工具准备、环境搭建到逐步解包操作,重点解析了输出文件结构,并提供了修改分区后重新打包的实战方法。文章还针对解包失败、打包错误等常见问题提供了详细的排查与解决方案,旨在帮助嵌入式开发者和爱好者高效完成固件分析与定制工作。

aa123的博客 718

一键智能填充上色?(Stable Diffusion进阶篇:AI线稿上色)_liblib 线稿上色

上一篇笔记学习的是如何用Stable Diffusion配合Gen-2将一张草稿转变为一个丝滑的小动画。但是即使再丝滑也是AI生成的,由于AI的随机性需要不断地“抽卡”才能得到接近自己预期的成品。所以今天要学习的是另一个大多数人或许都用得上的知识点-线稿上色。(文末扫码可获取籽料)对于插画师来说,线稿一般是用来绘制大概画面和构思创意的方式,差不多就是打草稿。而一张完整的插画需要经过线稿-上色-光影-细节修补等环节。像是很早前在学习SD时说过的,

m0_71746299的博客 1756

从FreeCAD到BIMBase:PlaneGCS约束求解器的移植使用指南

本文为BIMBase平台的开发者提供了一份详细的PlaneGCS几何约束求解器移植与集成指南。文章深入探讨了如何从FreeCAD中提取PlaneGCS核心代码,并将其适配到BIMBase的C++二次开发环境中,重点解决了内存管理、数据模型桥接、约束抽象以及性能调优等关键问题,旨在帮助开发者构建稳定高效的参数化设计模块。

weixin_29213525的博客 321

一键智能填充上色?(Stable Diffusion进阶篇:AI线稿上色)

上一篇笔记学习的是如何用Stable Diffusion配合Gen-2将一张草稿转变为一个丝滑的小动画。但是即使再丝滑也是AI生成的,由于AI的随机性需要不断地“抽卡”才能得到接近自己预期的成品。所以今天要学习的是另一个大多数人或许都用得上的知识点-线稿上色。对于插画师来说,线稿一般是用来绘制大概画面和构思创意的方式,差不多就是打草稿。而一张完整的插画需要经过线稿-上色-光影-细节修补等环节。

2401_84760719的博客 2491

DisplayPort信号通道深度解析:从物理层到协议栈

DisplayPort(DP)是一种面向高速串行通信的数字显示接口标准,其核心在于嵌入式时钟、自适应均衡与链路训练三位一体的物理层架构。不同于HDMI依赖独立时钟的TMDS方案,DP通过差分主链路(Main Link)承载编码数据流,以8b/10b或128b/132b编码实现高带宽与强鲁棒性。该技术价值体现在多速率自适应、误码恢复能力及对PCB布线与阻抗控制的严苛要求,广泛应用于8K显示、工业视觉、GPU直连等高性能场景。本文聚焦DP信号通道的管脚级实现、三层协议解耦(物理层/数据链路层/事务层)及链路训练

weixin_34214500的博客 259

小红书图文笔记图像批量爬取:Python爬虫实战与反反爬策略全解析

在当今社交媒体盛行的时代,小红书作为中国领先的生活方式分享平台,积累了海量的优质图文内容。对于数据分析师、市场研究人员或内容创作者来说,能够高效获取这些数据具有重要意义。本文将详细介绍如何使用Python构建一个高效、稳定的小红书图文笔记图像批量爬取工具,涵盖最新技术栈和反反爬策略。本文详细介绍了如何使用Python构建一个高效、稳定的小红书图文笔记图像批量爬取系统。通过结合Playwright、aiohttp等现代工具,实现了从列表页采集到图片下载的完整流程。

2201_76125261的博客 2364

一键智能填充上色?(Stable Diffusion进阶篇:AI线稿上色)_ai智能填色

对于插画师来说,线稿一般是用来绘制大概画面和构思创意的方式,差不多就是打草稿。而一张完整的插画需要经过线稿-上色-光影-细节修补等环节。 像是很早前在学习SD时说过的,AI绘画其中的一大问题就是随机性,对于那些有着严格细节把控或者说甲方要求频繁改动的画师来说,AI绘画并不是一个很好的选择。

2401_84760527的博客 1021

基于STM32L4XX 、HAL库的STSPIN32G4三相无刷直流电机(BLDC)驱动应用C语言程序设计

/ 设置PWM模式为6步换相。│PA5-7 ├── SPI ────►│SCK/MISO│ │ 三相桥 │。– 2路电机控制高级定时器(16位,支持6路 PWM 通道)// 60度电气周期对应转速 = 60/(极对数 * 6 * 周期)// 电气角度(0-3599)

PP_Cottage的博客 147

零基础也能秒会!Stable diffusion 黑白线稿生成 + 智能上色全攻略

灵感迸发时,你是否曾因线稿上色的繁琐工序而烦恼?那些重复的填色、光影渲染工作,正悄然吞噬着宝贵的创意时间。现在,是时候让AI成为你的“数字助手”了!无需手动逐帧上色,将这些机械性任务交给AI,它能快速完成色彩填充与细节优化,而你只需专注于更具价值的创意构思。话不多说,先通过一组对比图,直观感受AI上色带来的效率飞跃!

Eqiqi的博客 1495

2026年华为OD机试真题 新系统【点亮战争迷雾】

华为OD机试真题 8月18号 新系统【点亮战争迷雾】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题【点亮战争迷雾】多语言题解。

qq_45776114的博客 497

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

【Stable Diffusion保姆级教程】 AI一键线稿上色

在这段时间里想了很久最终决定—一只清后续主要进行的更新(以下简称“SD”)一方面SD是目前AI绘画主流之一,另一方面是SD相对于MJ可控性比较高,在商用层面上使用较多——当然,还有就是有很多伙伴会向我询问SD的内容。SD具有很强的灵活性。无论是动漫风格、写实风格还是幻想风格的线稿,SD 都能根据需求进行上色。它可以根据不同的指令调整色彩的风格、色调、饱和度等参数,以适应各种创作目的,无论是用于商业插画、个人作品还是概念设计等,都能发挥出色的效果。

libaiup的博客 1869

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

上一篇: 小白必备Stable diffusion30个插件,stable diffusion最全插件大全,新手必备指南!
下一篇: 老照片修复 ComfyUI 工作流教程分享 效果惊艳 超高清细节 重新上色
壹只小小码农
博客等级 码龄5年 8104粉丝 1333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值