Vid2Avatar: 3D 人像重建开源项目教程

Vid2Avatar: 3D 人像重建开源项目教程

vid2avatar Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition (CVPR2023) 项目地址: https://gitcode.com/gh_mirrors/vi/vid2avatar

1. 项目介绍

Vid2Avatar 是一个通过自监督场景分解从视频中重建 3D 人像的开源项目。该技术可以在没有任何标注的情况下，直接从野外视频中进行人像重建。Vid2Avatar 利用深度学习技术，可以从视频帧中提取人像，并在三维空间中重建出具有详细形态和动作的人像模型。这项技术在虚拟现实、动画制作、游戏开发等领域有广泛的应用前景。

2. 项目快速启动

环境准备

• Python 3.7
• Conda (推荐使用 Anaconda)
• Git

克隆项目

git clone https://github.com/MoyGcc/vid2avatar.git

创建并激活虚拟环境

conda create -n v2a python=3.7
conda activate v2a

安装依赖

cd vid2avatar
pip install -r requirement.txt
cd code; python setup.py develop

安装 Kaolin (版本 0.10.0)

pip install kaolin

下载并放置 SMPL 模型

• 下载 SMPL 模型文件，并将其移动到项目对应的目录下：

mkdir code/lib/smpl/smpl_model/
mv /path/to/smpl/models/basicModel_f_lbs_10_207_0_v1.0.0.pkl code/lib/smpl/smpl_model/SMPL_FEMALE.pkl
mv /path/to/smpl/models/basicmodel_m_lbs_10_207_0_v1.0.0.pkl code/lib/smpl/smpl_model/SMPL_MALE.pkl

下载预处理的演示数据

• 将预处理的演示数据下载到 data/ 目录下。

训练模型

• 确保数据配置文件中的 metaninfo 与预期的训练视频相匹配，然后运行训练脚本：

cd code
python train.py

• 训练通常需要 24-48 小时，验证结果可以在 outputs/ 目录下找到。

测试模型

• 使用以下命令来获取最终输出：

cd code
python test.py

3D 可视化

• 使用 AITViewer 可视化 3D 人类模型。首先安装 AITViewer：

pip install aitviewer imgui==1.4.1

• 然后运行以下命令来可视化标准网格或变形网格序列：

cd visualization
python vis.py --mode {MODE} --path {PATH}

3. 应用案例和最佳实践

• 虚拟现实：使用 Vid2Avatar 重建的 3D 人像可以用于创建更加真实和沉浸式的虚拟现实体验。
• 动画制作：动画师可以使用 Vid2Avatar 技术快速创建复杂的人像动画。
• 游戏开发：游戏开发者可以利用 Vid2Avatar 重建的人物模型，提升游戏的交互性和真实性。

4. 典型生态项目

• ROMP：用于获取初始 SMPL 形状和姿态的开源项目。
• OpenPose：实时多人关键点检测和姿态估计的开源项目。
• SMPL-X：扩展 SMPL 模型，包括详细的面部建模和全身建模的开源项目。

以上是 Vid2Avatar 的基本教程，通过该教程，用户可以快速上手并使用该项目进行 3D 人像重建。

vid2avatar Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition (CVPR2023) 项目地址: https://gitcode.com/gh_mirrors/vi/vid2avatar