在webui的相关课程中,我们已经学习了lora的基本原理,在comfyui中lora的使用也需遵循相同的要点。
我们先来梳理一下lora使用的要点:
(1)lora版本需与大模型版本一致;
(2)多数lora需要再正向提示词中添加触发词,lora才可生效;
(3)调整lora的权重,lora对出图的影响程度会对应变化;
(4)可以同时使用多个lora;
下面开始学习在comfyui中lora的使用。
1 lora加载器
1.1 加载器
新建路径:鼠标右键→新建节点→加载器点→lora加载器

“lora加载器”可以同时调整“模型强度”和“CLIP强度”来调整lora权重,其中模型强度主要用于影响出图效果的lora模型生效强度,值越大,lora模型生效强度越强;CLIP强度主要作用于对提示词CLIP模型的影响程度,实际使用时,我们主要调整整体的模型即可,一般clip模型保持默认值1。
1.2 lora的应用
lora的应用比较简单,只需在checkpoint加载器之后、clip文本编码器前,串联进入工作流即可。
注意:设置完lora后,注意需检查是否需设置触发词,如不按lora要求设置触发词,则lora模型有可能不生效。

小技巧:简便操作方法
选中“checkpoint加载器”,鼠标右键→添加lora,可以直接获得在工作流中带有连线的lora节点。

1.3 多个lora的应用
有些工作流需要同时调用多个lora模型,这时便需要同时调用多个lora加载器,直接同时串联进工作流即可。

1.4 lora堆节点
当需要同时调用多个lora时,采用独立的lora加载器串联的方式便会有所不便,这时可以借助lora堆节点,它将多个lora加载器集成在一起,可以十分方便地调取多个lora及设置权重信息等。
核心节点:“应用lora堆”

使用方式:同“lora加载器”相同,将“应用lora堆”串联在工作流的checkpoint模型加载器之后,将“lora堆”接入“应用lora堆”即可。

2 自动获取lora触发词
在webui中我们可以在下载lora时预设触发词和权重,使用时直接调用即可。在comfyui中,也有类似的lora辅助功能的插件,可以协助我们记住lora的触发词。
2.1 rgthree-comfyui
2.1.1 节点安装
管理器搜索“rgthree”,安装即可。

2.1.2 节点使用
新建节点路径:鼠标右键→新建节点→RG节点→强力lora加载器

使用方法:将“强力lora加载器”像“lora加载器”一样串联进工作流中即可。点击“add lora”增加lora选项,可以选择lora模型及调整权重。通过强力lora加载器可以同时调用过个lora。


鼠标光标放在lora名称上,点击鼠标右键,选项框中点击show info,即可调出模型的信息栏。点击“Fetch info from civitai”同步C站模型信息,选择提示词中第一个,点击左侧“copy”即可复制该触发词信息。


注意:该插件仅支持来自C站的lora模型信息(需开启科学上网),liblib上的模型信息无法获取。
2.2 类似应用
不同作者制作的其它几款lora触发词插件,大家可以了解及测试后选择一款个人使用习惯的节点。
2.2.1 lora-assistant
这是国内作者制作的一款lora提示词辅助插件,他可以设置在第一次调用lora并填入触发词后,保存住输入的触发词。
项目地址:https://github.com/Bellzs/ComfyUI-LoRA-Assistant
该插件目前已收录进管理器,直接通过管理器搜索安装即可。

新建路径:新建节点→加载器→loRA Tigger local

使用方法:首次使用某个lora时,在trigger_word手动填写触发词并运行工作流即可保存该lora的触发词(该节点里有个选项是当用户填写了触发词时,是否保存触发词,默认是开),下次用这个lora就可以自动调用触发词了。

该插件并未共用webui的json文件,节点共有2个文本框,上面对的文本框是lora关联的触发词,下面的文本框是生图的提示词,这个lora只会保存/加载触发词。如果下面那个框填了提示词,那么会自动与触发词逗号拼接在一起,但下面提示词框中的内容不会被保存。
附件:comfyUI基础整合包,包含秋叶版绘世启动器及comfyui官方版共两个版本,适合Windows系统使用。网盘内压缩文件解压密码VX-huaqs123,为防止下载失败,可先转存再下载。软件均为整合包形式,无需安装,下载后打开文件夹,点击运行图标即可使用。
百度网盘链接:
https://pan.baidu.com/s/1UVeWVFttiWOZEWHtnLav9A?pwd=886e 提取码: 886e
夸克网盘链接:https://pan.quark.cn/s/f445b7325b47
欢迎正在学习comfyui等ai技术的伙伴VX加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、工作流等资源……

致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值是我们学习的最终目标。
——画青山Ai学习专栏———————————————————————————————
零基础学Webui:
https://blog.youkuaiyun.com/vip_zgx888/category_13020854.html
Comfyui基础学习与实操:
https://blog.youkuaiyun.com/vip_zgx888/category_13006170.html
comfyui功能精进与探索:
https://blog.youkuaiyun.com/vip_zgx888/category_13005478.html
系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!
————————————————————————————————————
6158

被折叠的 条评论
为什么被折叠?



