ComfyUI实例:PuLID-Flux超自然人像换脸

图片

在AI图像生成领域,换脸技术早已不再是新鲜事。今天,我给大家分享一个由字节跳动团队开发的换脸插件——PuLID,它不仅能轻松实现换脸,生成效果非常自然逼真,而且操作起来超简单,小白也能快速上手!


PuLID在ComfyUI里的使用

目前来看,PuLID在风格迁移方面差强人意,但在人物换脸上表现相当不错,再加上Flux的摄影生图本身就出色,出图效果自然是非常好的。

接下来,我将从两个换脸场景展开:一是文生图,将参考图的人脸替换到通过提示词生成的图片上;二是图生图,把参考图的人脸替换到特定的照片中。一起来看看具体是怎么实现的吧!

**1.**文生图

图片

PuLID-Flux文生图的工作流比较简单,就是在标准工作流的基础上增加了PuLID换脸节点和图片上传节点,最主要的是Apply PuLID Flux这个核心组件:

图片

  • Load PuLID Flux Model节点加载的是PuLID的模型,对应“pulid_flux”输入口。
  • Load Eva Clip(PuLID Flux)独立编码器节点对应“eva_clip”输入口。
  • Load InsightFace(PuLID Flux)节点对应“face_analysis”输入口。
  • Apply PuLID Flux节点的第一个输入口“model”,输入的是Flux的模型;“image”连接s上传的参考图;而最后一个“attn_mask”遮罩,可以不用管。

图片

我们在UNET加载器后面增加一个LoRA加载器以便使用Lora强化画面风格,节点连接完毕后在CLIP文本编码器填写提示词,然后上传人物参考图,就可以运行工作流了。

我用刘亦菲、赵丽颖和小李子的照片进行了换脸尝试,这些熟悉的面孔能让大家更直观地观察生成效果。最后出来的效果图还是不错的,人脸融合自然逼真,环境光照也和谐真实。

图片

图片

图片

不过PuLID换脸存在一个问题,就是换脸动作比较单调,基本上是直接“贴”上去,虽然看起来挺自然,但姿态和面部朝向受参考图约束比较大。但也不是没有办法,只要多上传几张参考图,组成一个batch,这样人脸的朝向就能更灵活自由啦。

像下面的这个例子,我上传了四个不同角度的参考图,用“图像组合”节点组在一起再输入到Apply PuLID Flux。

图片

我们来对比一下两种方式的效果,下图是只上传一张参考图的生成效果,脸部朝向受参考图约束较大:

图片

上传4张参考图后,脸部姿势有了变化,显得更自由:

图片

如果遇到面部不清晰,人脸占比较小的情况,还可以添加“裁剪面部”节点,把脸部切出来,这样做就主要参考面部,排除掉其他因素干扰。

图片

**2.**图生图

如果你特别喜欢某张人物写真,想在保留服饰、动作和背景的情况下把脸换成其他的人,要怎么做呢?PuLID也能帮你快速实现喔。

下面是PuLID的图生图工作流了:

图片

基础调度器的降噪系数可以调整一下,建议在0.5-0.65之间。

图片

感受一下图生图的换脸效果:

图片

图片

图片

怎么安装PuLID?

**1.**安装插件

ComfyUI-PuLID-Flux插件的安装跟其他的程序并没有区别,在ComfyUI插件管理器点击“通过Git URL安装”,输入插件的仓库地址(https://github.com/balazik/ComfyUI-PuLID-Flux)进行安装,安装完成后重启ComfyUI即可。

图片

**2.**下载模型

*0**1**.**独立**模型*

pulid_flux_v0.9.0.safetensors

文件下载地址:

https://huggingface.co/guozinan/PuLID/resolve/main/pulid_flux_v0.9.0.safetensors

文件放置路径:ComfyUI/models/pulid

*0**2**.**编码器*

EVA-CLIP

文件下载地址:

https://huggingface.co/QuanSun/EVACLIP/resolve/main/EVA02_CLIP_L_336_psz14_s6B.pt

文件放置路径:ComfyUI/models/clip

*0**3**.**扩展*

face×lib

只要能科学上网,模型在第一次运行时候基本能自己自动下载。如果有条件限制,文末自取,模型和对应的模型路径我会打包好放一起。

Antelopev2

文件下载地址:

https://huggingface.co/MonsterMMORPG/tools/tree/main

文件放置路径:

ComfyUI/models/insightface/models/antelopev2

**3.**下载工作流

工作流可以在Github仓库里的examples目录找到,这里边有适用普通模型的工作流,也有适用fp8量化模型的。

图片

好啦,关于PuLID换脸就聊到这里了。感兴趣的小伙伴快去试试吧,说不定能帮你解锁新的创作灵感呢!

如果你觉得我的分享对你有帮助,或者你想了解更多相关技巧和见解,记得关注我哦!期待下次与你再相遇!

为了帮助大家更好地掌握 ComfyUI,我花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

img

在这里插入图片描述

### PuLID-FLUX v0.9 工作流文档及相关问题 #### 安装与配置挑战 当尝试安装 `ComfyUI-PuLID-Flux` 插件时遇到困难,特别是在处理依赖项 `facexlib` 的过程中遇到了阻碍。命令执行到 `python_embeded\python.exe -m pip install --use-pep517 facexlib` 即停滞不前[^4]。 对于此类情况,建议先确认 Python 环境变量设置无误,并确保网络连接稳定以便顺利下载所需库文件。如果依旧存在问题,则可以考虑更新pip版本至最新状态再试一次;另外也可以通过指定镜像源来加速包管理器的工作效率,比如国内用户可以选择清华TUNA镜像站作为临时解决方案。 #### 新增特性概述 针对多图像输入融合功能进行了实验性的改进,在节点上实现了更优的合成效果。这些改动旨在提升不同图片之间的衔接质量以及整体视觉呈现的一致性和自然度。开发者鼓励社区成员积极参与讨论并提供反馈意见以帮助完善此部分的功能实现[^2]。 #### 写真工作流详解 基于原有的基础图文转换流程之上加入了几个重要的模块用于增强最终产出物的质量: - **JOY反向推理**:利用特定算法分析原始素材中的情感特征并向目标方向优化调整; - **LayerStyle角色蒙板技术**:通过对前景对象施加精确控制从而达到更好的层次分离和细节保留目的[^3]。 ```bash # 更新pip工具链 python -m pip install --upgrade pip setuptools wheel # 使用国内镜像加快下载速度 python -m pip install --use-pep517 facexlib -i https://pypi.tuna.tsinghua.edu.cn/simple/ ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值