Flux的三步炼丹炉——fluxgym(二):训练 Lora

上次小编在《Flux“炼丹炉”——fluxgym安装教程》一文中已经分享了flux的便捷炼丹炉,并且手把手分享了安装方法,现在丹炉有了,那就开始着手炼丹!

如何炼丹(训练 Lora)?

使用方法非常简单,总的来说就以下三步:

  1. 输入 lora 信息
  2. 上传图片并为其添加标题(使用触发词)
  3. 点击“训练”。

然后喝杯咖啡慢慢等待即可。

下面我们来训练一个刘亦菲的 Lora,看看效果怎么样。

1.获取训练素材

训练素材渠道很多,可以从网上找,如果想训练其它的东西,可以使用 midjourney、SD、Flux 等生成图片,然后挑选合适的作为素材用来训练。我从网上随便找了几张:

image.png

这里只是是顺手改了图片名,也可以不修改,在这个丹炉中炼丹主打的就是一个方便~

2.基本处理(可选)

得到图片素材后可以选择进行一定的处理,提高质量。特别是找到的图片清晰度不高(马赛克风)的话,可以使用超分(超分辨率)提高质量。当然追求更高质量的话,还可以对图片进行抠图操作,抠图后只保留需要训练的主体,能够有利于算法捕捉到特征。可以先进行抠图,然后再使用超分提高质量。

① 抠图

我使用 ComfyUI 工作流进行批量处理,当然 sd-webui 还有 Ps 都可以。下面是我抠图的工作流,主要是使用 BRIA_AI 节点(没有的可以安装),处理下来效果挺不错的。

image.png

② 超分放大

超分放大(高清修复、高分放大)有很多种方法,按原理大致可分为:像素放大、模型放大、重采样放大、区块放大。在 stable diffusion webui 中可以通过插件来获取这些功能,比如:Ultimate SDupscale(终极 sd 放大)、ControlNet 的 tile、AI upscaler(AI 放大)等等,也可以混合使用,下面我通过使用 ControlNet 的 tile 和终极 sd 放大法相结合进行图片超分(混合会增加处理时长)。

需要一提的是 Ultimate SDupscale(终极 sd 放大)和 ControlNet 的 tile 的方法都需要额外的模型支撑,也就是需要下对于的模型,但是并不大,一共也就几百 MB。

Ultimate SDupscale (终极 sd 放大):

安装方法如下图:

image.png

插件地址为:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值