根据实测,webUI中有两个途径可以比较好的实现图片的光影效果,分别是利用图生图+controlnet原理和一个新的插件IC-Light。
1图生图+controlnet
原理:利用一张光影图作为图生图的底图;controlnet中利用人物图提供出图约束,提示词描述共同生成图像。
1.1 反推获取提示词
通过wd1.4反推人物图的提示词,并发送到图生图。根据图像风格选择大模型。


1.2 出图参数设置
图生图界面上传光影图,设置出图参数,注意重绘幅度数值需设置较高数值。
(图生图的底图不是人物图,而是光影图)


1.3 controlnet设置
打开controlnet,上传人物照片,选择“线稿提取”,预处理器选择

1.4 生成图像效果如下

不同的光影图可以得到变化多样的效果图,但是该方案的底图是光影图,人物形象由线稿及提示词获取,得到的人物形象可能与原照片有较大差距。
2 插件IC-Light打光
IC-light插件全称是“Imposing Consistent Light”,它能够根据简单的提示词说明或者图像场景,自动调整图像光影,使图像内容与光照效果更加融合。
2.1 IC-light插件安装
webUI界面中,通过“扩展”、“从网址安装”输入网址安装;
网址:https://github.com/huchenlei/sd-forge-ic-light

要想让IC-light插件正常运行,还需安装model-patcher插件;
网址:https://github.com/huchenlei/sd-webui-model-patcher

如果在线安装不成功,也可以通过上述网址下载文件方式安装,进入网站后下载方式如下图所示,下载文件解压缩后放入:webui根目录/extensions/


2.2 模型下载
共有2个模型,一个是文本生成背景模型,一个是融合图像背景模型
IC-Light.SD15.FBC.safetensors
IC-Light.SD15.FC.safetensors
下载地址:http://huggingface.co/huchenlei/IC-Light-ldm/tree/main

模型文件放入文件夹:根目录/models/ic-light(注意,如没有就新建一个ic-light文件夹)
预处理器下载安装:
第一次运行时会自动下载预处理器,如未成功自动加载,下载网址如下:
https://github.com/danielgatis/rembg/releases/download/v0.0.0/u2net_human_seg.onnx
u2net_human_seg.onnx文件放置位置:webUI根目录\.cache\u2net
2.3 使用方法
(1)文本生成背景模型:
提供前景图片,通过文生图生成背景,将前景图与背景图融在一起且保持光照一致。
在文生图生成背景时,可以通过输入描述光照的提示词,可以生成特定光照方向或光照效果的背景。
(2)融合背景条件模型
前景图片提供主体,背景条件作为条件,将前景图片中的主题融入背景图中且保持光照一致。提示词仅需简单描述即可。
最后分享webUI的本地整合包资源,个人自用的整合包(超全插件及模型,本节课程所有涉及的模型均可在对应文件夹中找到下载)。
整合包形式,无需安装,Windows系统下载打开即用。
「webui自用全能包(内置超全插件、模型)--100G左右」https://pan.quark.cn/s/3647679a1966
欢迎正在学习comfyui等ai技术的伙伴V加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、高级工作流等资源……
致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值才是学习的实际目标。

——画青山Ai学习专栏———————————————————————————————
零基础学Webui:
https://blog.youkuaiyun.com/vip_zgx888/category_13020854.html
Comfyui基础学习与实操:
https://blog.youkuaiyun.com/vip_zgx888/category_13006170.html
comfyui功能精进与探索:
https://blog.youkuaiyun.com/vip_zgx888/category_13005478.html
系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!
————————————————————————————————————

被折叠的 条评论
为什么被折叠?



