上次小编在《Flux“炼丹炉”——fluxgym安装教程》一文中已经分享了flux的便捷炼丹炉,并且手把手分享了安装方法,现在丹炉有了,那就开始着手炼丹!
如何炼丹(训练 Lora)?
使用方法非常简单,总的来说就以下三步:
- 输入 lora 信息
- 上传图片并为其添加标题(使用触发词)
- 点击“训练”。
然后喝杯咖啡慢慢等待即可。
下面我们来训练一个刘亦菲的 Lora,看看效果怎么样。
1.获取训练素材
训练素材渠道很多,可以从网上找,如果想训练其它的东西,可以使用 midjourney、SD、Flux 等生成图片,然后挑选合适的作为素材用来训练。我从网上随便找了几张:
这里只是是顺手改了图片名,也可以不修改,在这个丹炉中炼丹主打的就是一个方便~
2.基本处理(可选)
得到图片素材后可以选择进行一定的处理,提高质量。特别是找到的图片清晰度不高(马赛克风)的话,可以使用超分(超分辨率)提高质量。当然追求更高质量的话,还可以对图片进行抠图操作,抠图后只保留需要训练的主体,能够有利于算法捕捉到特征。可以先进行抠图,然后再使用超分提高质量。
① 抠图
我使用 ComfyUI 工作流进行批量处理,当然 sd-webui 还有 Ps 都可以。下面是我抠图的工作流,主要是使用 BRIA_AI 节点(没有的可以安装),处理下来效果挺不错的。
② 超分放大
超分放大(高清修复、高分放大)有很多种方法,按原理大致可分为:像素放大、模型放大、重采样放大、区块放大。在 stable diffusion webui 中可以通过插件来获取这些功能,比如:Ultimate SDupscale(终极 sd 放大)、ControlNet 的 tile、AI upscaler(AI 放大)等等,也可以混合使用,下面我通过使用 ControlNet 的 tile 和终极 sd 放大法相结合进行图片超分(混合会增加处理时长)。
需要一提的是 Ultimate SDupscale(终极 sd 放大)和 ControlNet 的 tile 的方法都需要额外的模型支撑,也就是需要下对于的模型,但是并不大,一共也就几百 MB。
Ultimate SDupscale (终极 sd 放大):
安装方法如下图:
插件地址为: