【ai绘画大变革】IC-LoRA物体合成图像工作流!带你玩转虚拟试戴和产品设计

大家好,今天我来给大家分享一个In-Context-LoRA生态系统圈作者提供的一个物体合成图像工作流,这个工作流可以用于虚拟试戴、产品设计、角色扮演等场景。

我简单介绍一下IC-LoRA 的核心理念就是使用自然语言来定义任务,将条件图像和目标图像连接成一个合成图像。
在这里插入图片描述

不明白也没关系,我们来看下工作流就明白咯

在这里插入图片描述

这个工作流涉及到多个comfyui节点的应用,比较复杂。

接下来,我就带大家一步一步来安装这些comfyui节点

第一步安装最主要的物体合成图像节点-Comfyui_Object_Migration。先去以下网址下载插件包:

https://github.com/TTPlanetPig/Comfyui_Object_Migration/archive/refs/heads/main.zip

这节点安装非常简单,只需要解压到custom_nodes目录即可。

第二步,安装ComfyUI_LayerStyle节点,也就是工作流中最左边的部分,用于切割出需要的物体图片。这是一个可以实现类似Photoshop图片分层功能的节点,当然这个节点不仅仅只会对图片分层提取,它还有其他很多功能,可以说是包罗万象。老金会在后续的使用中会陆续给大家介绍。

先去以下网址下载插件包:

https://github.com/chflame163/ComfyUI_LayerStyle/archive/refs/heads/main.zip

下载后解压至custom_nodes目录下

然后在python_embeded目录下进入命令行窗口,这节点的依赖安装有些绕,先要安装两个前置依赖的whl(轮子)文件,先输入以下两条命令:

python.exe -s -m pip install …\ComfyUI\custom_nodes\ComfyUI_LayerStyle\whl\docopt-0.6.2-py2.py3-none-any.whl

python.exe -s -m pip install …\ComfyUI\custom_nodes\ComfyUI_LayerStyle\whl\hydra_core-1.3.2-py3-none-any.whl

接下来的命令需要大家试了,我先把命令列出来:

python.exe -m pip install -r …\ComfyUI\custom_nodes\ComfyUI_LayerStyle\requirements.txt

运行这条命令时,老金试过多次都卡在requirements第18行下不去,随后老金查了Issues,作者推荐使用install_requirements.bat。

进入\ComfyUI\custom_nodes\ComfyUI_LayerStyle\目录,运行install_requirements.bat,虽然,期间多次出现error信息,但最后还是说成功安装!

在这里插入图片描述

最后,再运行一下repair_dependency.bat,就可以了!

第三步,安装Comfyui_JC2节点,在工作流中左起第二部分。它就是一个joy_caption的反推节点,主要用于反推之前切割出图片的提示词。这里肯定有同学要问了,老金不是介绍过一个joy_caption_two的反推节点,需要了解的同学,可以看老金往期介绍:

那为什么不用它呢?其实,老金第一时间就是想用ComfyUI_SLK_joy_caption_two节点替换Comfyui_JC2节点的。因为,ComfyUI_SLK_joy_caption_two节点可以使用NF4模型相对较小,而Comfyui_JC2需使用bf16模型,要大很多。但是,在工作流的数据传递中始终出错!所以,老金只能老老实实地安装Comfyui_JC2节点。

先去以下网址下载Comfyui_JC2节点插件包:

https://github.com/TTPlanetPig/Comfyui_JC2/archive/refs/heads/main.zip

下载解压后放入custom_nodes目录。

然后运行以下命令:

python.exe -m pip install -r …\ComfyUI\custom_nodes\Comfyui_JC2\requirements.txt

这里,作者建议大家使用torch==2.4.0,如果大家使用的comfyi>0.2版本就没什么问题。如果还没使用的话,建议新开环境安装哦!别折腾自己!

第四步,安装各节点插件所需的模型文件。

FLUX-inpaiting模型

https://huggingface.co/alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Beta/tree/main

在这里插入图片描述

下载后放入models/controlnet目录下,记得改下名字便于后续确认。

Migration LoRA模型

https://huggingface.co/TTPlanet/Migration_Lora_flux/tree/main

在这里插入图片描述

下载后,放入models/loras目录

LayerStyle所需sams模型和grounding-dino模型

https://huggingface.co/chflame163/ComfyUI_LayerStyle/tree/main/ComfyUI/models/sams

在这里插入图片描述

有多个模型,硬盘宽裕的话可以都下载,不过老金就下载了最大的sam_hq_vit_h.pth模型,下载后放入models/sams目录

https://huggingface.co/ShilongLiu/GroundingDINO/tree/main

选取红框中的文件下载,放入models/grounding-dino目录下

JC2所需模型

这个节点需要的模型比较多,而且一定注意要放置在正确的目录下,之前老金就走了一段弯路。

  • clip模型文件

https://huggingface.co/google/siglip-so400m-patch14-384/tree/main

在这里插入图片描述

下载所有文件到models/clip_vision/google–siglip-so400m-patch14-384目录下,注意是clip_vision目录下。

  • Llama-3.1-8B模型文件

https://huggingface.co/unsloth/Meta-Llama-3.1-8B-Instruct/tree/main

所有文件下载到models/LLM/unsloth–Meta-Llama-3.1-8B-Instruct目录下。

  • joy-caption模型文件

https://huggingface.co/spaces/fancyfeast/joy-caption-alpha-two/tree/main/cgrkzexw-599808

下载所有文件和子目录,放入models\Joy_caption\cgrkzexw-599808目录下。

终于,把这套工作流所需的节点和模型都安装完毕。

最后,老金再给分享一下使用中的心得。

  • 使用FLUX.1-dev-Controlnet-Inpainting-Beta模型需把comfyui升级到0.2版本以上。

  • VRAM低于10G的同学建议使用GGUF节点,以提高出图速度,老金测了Q8模型,速度提升20%,我们可以看下fp8(左)和Q8(右)生成图片之间的差异。

  • 为了防止爆显存,VRAM低于10G的同学建议使用参数

dtype选nf4

cache_model选false

最近,有些同学跟我提出,希望我能够给一些还不太熟悉comfyui环境的同学提供一键压缩包,方便大家及时体验最新节点插件带来的快乐。

我给大家做了一个基于Comfyui-0.2.2版本的Comfyui_Object_Migration环境压缩包分享给大家,省去大家安装依赖的繁琐。

另外,需要说明一下,我的环境和节点所需的模型文件是分离的,所以老金的压缩包只有节点环境部分,所需的模型文件记得也要一并下载哦!模型文件摆放的目录请仔细看文中介绍!

需要的同学请点击下面链接,并转存文件,谢谢了

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值