【论文+demo】小红书提出个性化真实人像生成方法（2024.01.15发布,声称效果好于PhotoMaker）

国内
[2024/02/01] 🔥增加了 LCM加速、多个Controlnet控制，更新了深度估计器，可在huggingface上试用
[2024/01/31] 🔥 支持oneDiff加速，详细代码
[2024/1/22] 🔥 发布了模型、推理代码）和 gradio demo：https://huggingface.co/spaces/InstantX/InstantID！
[2024/1/15] 🔥 发布技术报告：零样本身份保留生成方法（2401.InstantID: Zero-shot Identity-Preserving Generation in Seconds ：
[2023/12/11] 🔥 发布项目页面 https://instantid.github.io/。

一、简介

本文的主要内容是介绍了一种名为InstantID的零样本身份保留生成方法，它可以在只有一个面部图像的情况下生成保留身份细节的个性化图像。
这种方法通过引入一个轻量级的适配器模块和一个身份网络来实现强大的身份控制和面部细节保留。
实验结果表明，InstantID在保持原始模型的文本编辑能力的同时，能够有效地保留身份细节，具有出色的性能和效率。

官方展示效果

原图1 对论文作者进行风格化图片生成

实测

huggingface: ：https://huggingface.co/spaces/InstantX/InstantID
国内openxlab 浦源： https://openxlab.org.cn/apps/detail/InstantX/InstantID

提取兵马俑的脸，然后采用李小龙的姿势

Film Noir (黑暗电影风格) 采用深度图作为条件

实测 - 提取李开复的脸，采用鸣人的姿势

Vibrant Color 风格是充满活力的眼

二、主要方法

模型由三部分组成，以保持高面部保真度。
首先，我们采用人脸编码器（face encoder）而不是CLIP来提取语义人脸特征，并使用可训练的投影层(a trainable projection layer)将它们投影到文本特征的空间。我们将投影特征作为人脸嵌入(face embedding)。
然后，引入一个具有解耦交叉注意（decoupled cross-attention