【CVPR 2024】HumanRef: Single Image to 3D Human Generation via Reference-Guided Diffusion

前言

Jingbo Zhang, Xiaoyu Li, Qi Zhang, Yanpei Cao, Ying Shan, Jing Liao

【Paper】 > 【Github_Code】 > 【Project】
HumanRef 引入了一种称为参考引导分数蒸馏采样 (Ref-SDS) 的新颖方法，该方法有效地将图像引导纳入生成过程。此外，我们将区域感知注意力引入 Ref-SDS，确保不同身体区域之间的准确对应。

Abstract

现有问题：从单个参考图像生成 3D 人体模型具有挑战性，因为它需要在不可见视图中推断纹理和几何形状，同时保持与参考图像的一致性。以前利用 3D 生成模型的方法受到 3D 训练数据可用性的限制。将文本到图像扩散模型提升到 3D 生成的基于优化的方法通常无法保留参考图像的纹理细节，从而导致不同视图中的外观不一致。
方法介绍：