在AI图像生成领域,换脸技术早已不再是新鲜事。今天,我给大家分享一个由字节跳动团队开发的换脸插件——PuLID,它不仅能轻松实现换脸,生成效果非常自然逼真,而且操作起来超简单,小白也能快速上手!
PuLID在ComfyUI里的使用
目前来看,PuLID在风格迁移方面差强人意,但在人物换脸上表现相当不错,再加上Flux的摄影生图本身就出色,出图效果自然是非常好的。
接下来,我将从两个换脸场景展开:一是文生图,将参考图的人脸替换到通过提示词生成的图片上;二是图生图,把参考图的人脸替换到特定的照片中。一起来看看具体是怎么实现的吧!
**1.**文生图
PuLID-Flux文生图的工作流比较简单,就是在标准工作流的基础上增加了PuLID换脸节点和图片上传节点,最主要的是Apply PuLID Flux这个核心组件:
- Load PuLID Flux Model节点加载的是PuLID的模型,对应“pulid_flux”输入口。
- Load Eva Clip(PuLID Flux)独立编码器节点对应“eva_clip”输入口。
- Load InsightFace(PuLID Flux)节点对应“face_analysis”输入口。
- Apply PuLID Flux节点的第一个输入口“model”,输入的是Flux的模型;“image”连接s上传的参考图;而最后一个“attn_mask”遮罩,可以不用管。
我们在UNET加载器后面增加一个LoRA加载器以便使用Lora强化画面风格,节点连接完毕后在CLIP文本编码器填写提示词,然后上传人物参考图,就可以运行工作流了。
我用刘亦菲、赵丽颖和小李子的照片进行了换脸尝试,这些熟悉的面孔能让大家更直观地观察生成效果。最后出来的效果图还是不错的,人脸融合自然逼真,环境光照也和谐真实。
不过PuLID换脸存在一个问题,就是换脸动作比较单调,基本上是直接“贴”上去,虽然看起来挺自然,但姿态和面部朝向受参考图约束比较大。但也不是没有办法,只要多上传几张参考图,组成一个batch,这样人脸的朝向就能更灵活自由啦。
像下面的这个例子,我上传了四个不同角度的参考图,用“图像组合”节点组在一起再输入到Apply PuLID Flux。
我们来对比一下两种方式的效果,下图是只上传一张参考图的生成效果,脸部朝向受参考图约束较大:
上传4张参考图后,脸部姿势有了变化,显得更自由:
如果遇到面部不清晰,人脸占比较小的情况,还可以添加“裁剪面部”节点,把脸部切出来,这样做就主要参考面部,排除掉其他因素干扰。
**2.**图生图
如果你特别喜欢某张人物写真,想在保留服饰、动作和背景的情况下把脸换成其他的人,要怎么做呢?PuLID也能帮你快速实现喔。
下面是PuLID的图生图工作流了:
基础调度器的降噪系数可以调整一下,建议在0.5-0.65之间。
感受一下图生图的换脸效果:
怎么安装PuLID?
**1.**安装插件
ComfyUI-PuLID-Flux插件的安装跟其他的程序并没有区别,在ComfyUI插件管理器点击“通过Git URL安装”,输入插件的仓库地址(https://github.com/balazik/ComfyUI-PuLID-Flux)进行安装,安装完成后重启ComfyUI即可。
**2.**下载模型
*0**1**.**独立**模型*
pulid_flux_v0.9.0.safetensors
文件下载地址:
https://huggingface.co/guozinan/PuLID/resolve/main/pulid_flux_v0.9.0.safetensors
文件放置路径:ComfyUI/models/pulid
*0**2**.**编码器*
EVA-CLIP
文件下载地址:
https://huggingface.co/QuanSun/EVACLIP/resolve/main/EVA02_CLIP_L_336_psz14_s6B.pt
文件放置路径:ComfyUI/models/clip
*0**3**.**扩展*
face×lib
只要能科学上网,模型在第一次运行时候基本能自己自动下载。如果有条件限制,文末自取,模型和对应的模型路径我会打包好放一起。
Antelopev2
文件下载地址:
https://huggingface.co/MonsterMMORPG/tools/tree/main
文件放置路径:
ComfyUI/models/insightface/models/antelopev2
**3.**下载工作流
工作流可以在Github仓库里的examples目录找到,这里边有适用普通模型的工作流,也有适用fp8量化模型的。
好啦,关于PuLID换脸就聊到这里了。感兴趣的小伙伴快去试试吧,说不定能帮你解锁新的创作灵感呢!
如果你觉得我的分享对你有帮助,或者你想了解更多相关技巧和见解,记得关注我哦!期待下次与你再相遇!
为了帮助大家更好地掌握 ComfyUI,我花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取