前言:
还在为Stable Diffusion难以精准复刻参考图风格而苦恼?ControlNet的Reference功能将彻底解决这一痛点!本文深度解析这项"黑科技"的底层原理,手把手教你实现99%的风格还原度,无论是大师画作、摄影色调还是特定IP风格,都能精准迁移。
我们将通过商业案例实测,展示如何用Reference功能完成:游戏角色设计统一、电商产品图风格化、艺术创作灵感延伸等高阶应用。文末提供开箱即用的参数模板和风格库资源,助你快速掌握这项改变行业规则的技术!
ControlNet:最强控制插件 ControlNet作为Stable
Diffusion的插件,以其强大的控制能力而闻名。它允许用户在生成图像的过程中,精确控制图像的细节、风格和整体效果。无论是调整图像的色调、对比度,还是改变图像的风格,ControlNet都能轻松应对。
因为AI生成人物往往是带有随机性的,每次生成都会有一些不可控的区别,所以一直以来,设计师们都想解决生成人物能保持统一这个问题。
自从ControlNet1.1.17的版本升级之后,作者更新了一个新的预处理器——reference。这个预处理器最大的作用,就是通过一张给定的参考图可以延续出一系列相似的图,这样就为我们给同一个角色生成系列图提供了可能,接下来让我们一起来看看它是怎么使用的。
这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费
】
使用方法
首先我们进入文生图,填写一段提示词。如下:(杰作,最好的质量),一头白发的女孩坐在绿植和鲜花的田野里,温暖的灯光,模糊的前景。
设置一下常规参数,先生成一张图。
接下来,我们想用这个人物作为主角生成一系列其他的图。将图片拖入到ControlNet中,预处理器选择reference
only,控制模型一定要选择“均衡”。保真度数值越高,对图片的参考就越强,我们先设置为1看看。
这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费
】
可以看到,在没有明确指向性提示词的情况下,人物形象保持了一致,但是她的表情、动作、服装产生了随机的不同程度的变化。
我们可以试着通过添加关键词的方式来给人物换装,比如添加“红裙子”。
同时更改服装和表情,比如添加“黑色校服、哭泣”。
同时更改动作和表情,比如添加“抱手、生气”。
同时更改姿态,环境和表情,比如添加“在花丛中奔跑、开心”。
添加“红色棒球帽,时尚卫衣,在商场逛街”。
通过一系列测试,可以发现这个功能可以让我们在绘制系列插画、漫画、小说插图等等工作时,能保持主角形象的统一,也能根据情况做实时的调整,如果后期再配合lora,潜力可以想象是非常大的。
其他应用
我们还可以测试一些有趣的东西,比如拿一些完全不相干的图片来做参考,看看会发生什么。
还是使用刚才女孩坐在草地上的提示词不变,但是参考图片换成一筐草莓。
得到了和刚才那张图比较接近的色调,说明这个风格参考也可以作为一种滤镜功能使用。找到喜欢的图片色调,就能直接参考出来。
如果使用蒙娜丽莎作为参考,会得到什么效果呢?
世界名画诞生了,而且似乎是连画风也进行了参考,甚至脸庞也有点像了,可能是我把参考值拉满了的原因。
再尝试参考一下梵高的星空,很好奇这种特别强烈的绘画风格参考出来是什么样的。
当当,图像生成!
色调、笔触还挺有那个味道的,而且像素越低,感觉越像是什么回事。
最后,我们再使用reference进行一下扩图。将上面这张图发送到图生图,调整尺寸,用较小的重绘幅度,得到下面这张图片。
进行局部重绘,将两边区域图上蒙版。
正向提示词改为“长满鲜花和植物的田野”,来描述背景的内容。
ControlNet继续使用星空来控制参考风格。
这样背景就扩充好了,效果还是不错的。
借用这个思路,我们还可以尝试通过多个ControlNet通道的结合,来实现绘图的风格控制。
比如,我们接下来要给这张线稿上色。
然后风格参考这张水彩的插画。
两个通道分别如下设置:一个采用lineart_anime做预处理器;另一个用reference_only做参考风格。提示词为:一个女孩,头像,水彩。
点击生成,我们就通过参考风格绘制好了这张线稿上色。这张的模型使用的是有名的二次元模型“AnythingV5V3_v5PrtRE”。
使用不同的模型和参数设置也会产生不用的效果,比如这张更换了大模型“colorBoxModel_colorBOX”,色彩更鲜明一些。
这张还是使用的“AnythingV5V3_v5PrtRE”模型,并额外添加了“Moxin”Lora,水墨风格化更明显了。
好了,以上就是ControlNet插件当中reference参考预处理器的介绍,更多的用法大家可以自己去发掘,玩得开心。
资料软件免费放送
这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费
】
提示词
Stable Diffusion 最强提示词手册
- Stable Diffusion介绍
- OpenArt介绍
- 提示词(Prompt) 工程介绍
- …
第一章、提示词格式
- 提问引导
- 示例
- 单词的顺序
- …
有需要的朋友,可以点击下方卡片免费领取!
第二章、修饰词(Modifiers)
- Photography/摄影
- Art Mediums/艺术媒介
- Artists/艺术家
- Illustration/插图
- Emotions/情感
- Aesthetics/美学
- …
第三章、 Magic words(咒语)
- Highly detailed/高细节
- Professional/专业
- Vivid Colors/鲜艳的颜色
- Bokeh/背景虚化
- Sketch vs Painting/素描 vs 绘画
- …
第四章、Stable Diffusion参数
- Resolution/分辨率
- CFC/提词相关性
- Step count/步数
- Seed/种子
- Sampler/采样
- 反向提示词(Prompt)
第5章 img2img(图生图),in/outpainting(扩展/重绘)
- 将草图转化为专业艺术作品
- 风格转换
- lmg2lmg 变体
- Img2lmg+多个AI问题
- lmg2lmg 低强度变体
- 重绘
- 扩展/裁剪
- …
第6章 重要提示
- 词语的顺序和词语本身一样重要
- 不要忘记常规工具
- 反向提示词(Prompt)
- …
第7章 OpenArt展示
-
提示词 (Prompt)
-
案例展示
-
…
这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费
】