超快！阿里通义 Lab提出LHM！2s完成单张图像重建3D人体动画！

🌐 社群导航

🔗 点击加入➡️【AIGC/LLM/MLLM/3D/自动驾驶】 技术交流群

🔗 点击加入➡️【2-3月CCF投稿】交流群

数源AI 最新论文解读系列

论文名：LHM:Large Animatable Human Reconstruction Model for Single Image to 3D in Seconds

论文链接：https://arxiv.org/pdf/2503.10625

开源代码：https://github.com/aigc3d/LHM

导读

从单张图像创建3D可动画人体虚拟形象对于沉浸式增强现实/虚拟现实（AR/VR）应用至关重要，但由于几何形状、外观和变形的耦合歧义，这仍然是一个具有挑战性的问题。 最近，基于扩散模型的人体视频动画方法已显示出生成逼真人体视频的能力。然而，这些方法在极端姿态下往往会出现视图不一致的问题，并且视频采样需要较长的推理时间。

简介

从单张图像中重建可动画的3D人体是一个具有挑战性的问题，因为在分离几何形状、外观和变形方面存在歧义。近年来，3D人体重建的进展主要集中在静态人体建模上，并且使用合成扫描数据进行训练限制了它们的泛化能力。相反，基于优化的视频方法可以实现更高的保真度，但需要可控的采集条件和计算密集的细化过程。受用于高效静态重建的大型重建模型出现的启发，我们提出了LHM（大型可动画人体重建模型），以在单次前向传播中推断以3D高斯散点表示的高保真虚拟形象。我们的模型利用多模态Transformer架构，通过注意力机制有效地编码人体位置特征和图像特征，从而能够详细保留服装的几何形状和纹理。为了进一步提高面部身份保留和精细细节恢复能力，我们提出了一种头部特征金字塔编码方案，以聚合头部区域的多尺度特征。大量实验表明，我们的LHM模型能够在数秒内生成合理的可动画人体，无需对脸部和手部进行后处理，在重建精度和泛化能力方面均优于现有方法。

方法与模型