◆comfyUI教程◆第2章04节 comfyUI中lora模型的基础知识与应用

部署运行你感兴趣的模型镜像

   在webui的相关课程中,我们已经学习了lora的基本原理,在comfyui中lora的使用也需遵循相同的要点。

    我们先来梳理一下lora使用的要点:

(1)lora版本需与大模型版本一致;

(2)多数lora需要再正向提示词中添加触发词,lora才可生效;

(3)调整lora的权重,lora对出图的影响程度会对应变化;

(4)可以同时使用多个lora;

下面开始学习在comfyui中lora的使用。

1 lora加载器

1.1 加载器   

新建路径:鼠标右键→新建节点→加载器点→lora加载器

图片

     “lora加载器”可以同时调整“模型强度”和“CLIP强度”来调整lora权重,其中模型强度主要用于影响出图效果的lora模型生效强度,值越大,lora模型生效强度越强;CLIP强度主要作用于对提示词CLIP模型的影响程度,实际使用时,我们主要调整整体的模型即可,一般clip模型保持默认值1。

1.2 lora的应用

    lora的应用比较简单,只需在checkpoint加载器之后、clip文本编码器前,串联进入工作流即可。

    注意:设置完lora后,注意需检查是否需设置触发词,如不按lora要求设置触发词,则lora模型有可能不生效。

图片

    小技巧:简便操作方法

    选中“checkpoint加载器”,鼠标右键→添加lora,可以直接获得在工作流中带有连线的lora节点。

图片

1.3 多个lora的应用

    有些工作流需要同时调用多个lora模型,这时便需要同时调用多个lora加载器,直接同时串联进工作流即可。

图片

1.4 lora堆节点

    当需要同时调用多个lora时,采用独立的lora加载器串联的方式便会有所不便,这时可以借助lora堆节点,它将多个lora加载器集成在一起,可以十分方便地调取多个lora及设置权重信息等。

    核心节点:“应用lora堆”

图片

    使用方式:同“lora加载器”相同,将“应用lora堆”串联在工作流的checkpoint模型加载器之后,将“lora堆”接入“应用lora堆”即可。

图片

2 自动获取lora触发词

    在webui中我们可以在下载lora时预设触发词和权重,使用时直接调用即可。在comfyui中,也有类似的lora辅助功能的插件,可以协助我们记住lora的触发词。

2.1 rgthree-comfyui

2.1.1 节点安装

管理器搜索“rgthree”,安装即可。

图片

2.1.2 节点使用

新建节点路径:鼠标右键→新建节点→RG节点→强力lora加载器

图片

    使用方法:将“强力lora加载器”像“lora加载器”一样串联进工作流中即可。点击“add lora”增加lora选项,可以选择lora模型及调整权重。通过强力lora加载器可以同时调用过个lora。

图片

图片

    鼠标光标放在lora名称上,点击鼠标右键,选项框中点击show info,即可调出模型的信息栏。点击“Fetch info from civitai”同步C站模型信息,选择提示词中第一个,点击左侧“copy”即可复制该触发词信息。

图片

图片

    注意:该插件仅支持来自C站的lora模型信息(需开启科学上网),liblib上的模型信息无法获取。

2.2 类似应用

    不同作者制作的其它几款lora触发词插件,大家可以了解及测试后选择一款个人使用习惯的节点。

2.2.1 lora-assistant

    这是国内作者制作的一款lora提示词辅助插件,他可以设置在第一次调用lora并填入触发词后,保存住输入的触发词。

项目地址:https://github.com/Bellzs/ComfyUI-LoRA-Assistant

该插件目前已收录进管理器,直接通过管理器搜索安装即可。

图片

新建路径:新建节点→加载器→loRA Tigger local

图片

    使用方法:首次使用某个lora时,在trigger_word手动填写触发词并运行工作流即可保存该lora的触发词(该节点里有个选项是当用户填写了触发词时,是否保存触发词,默认是开),下次用这个lora就可以自动调用触发词了。

图片

    该插件并未共用webui的json文件,节点共有2个文本框,上面对的文本框是lora关联的触发词,下面的文本框是生图的提示词,这个lora只会保存/加载触发词。如果下面那个框填了提示词,那么会自动与触发词逗号拼接在一起,但下面提示词框中的内容不会被保存。

 附件:comfyUI基础整合包,包含秋叶版绘世启动器及comfyui官方版共两个版本,适合Windows系统使用。网盘内压缩文件解压密码VX-huaqs123,为防止下载失败,可先转存再下载。软件均为整合包形式,无需安装,下载后打开文件夹,点击运行图标即可使用。

百度网盘链接: 

https://pan.baidu.com/s/1UVeWVFttiWOZEWHtnLav9A?pwd=886e 提取码: 886e 

夸克网盘链接:https://pan.quark.cn/s/f445b7325b47

    欢迎正在学习comfyui等ai技术的伙伴VX加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、工作流等资源……

图片

    致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值是我们学习的最终目标。

 ——画青山Ai学习专栏———————————————————————————————

零基础学Webui:

https://blog.youkuaiyun.com/vip_zgx888/category_13020854.html

Comfyui基础学习与实操:

https://blog.youkuaiyun.com/vip_zgx888/category_13006170.html

comfyui功能精进与探索:

https://blog.youkuaiyun.com/vip_zgx888/category_13005478.html

系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!

————————————————————————————————————

您可能感兴趣的与本文相关的镜像

ComfyUI

ComfyUI

AI应用
ComfyUI

ComfyUI是一款易于上手的工作流设计工具,具有以下特点:基于工作流节点设计,可视化工作流搭建,快速切换工作流,对显存占用小,速度快,支持多种插件,如ADetailer、Controlnet和AnimateDIFF等

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值