GaussianAvatar安装与配置指南

GaussianAvatar安装与配置指南

1. 项目基础介绍

GaussianAvatar是一个开源项目，旨在通过单个视频创建具有动态3D外观的逼真人类虚拟形象。该项目由哈尔滨工业大学、北京师范大学和清华大学的研究人员共同开发，并在CVPR 2024上发表相关论文。

主要编程语言

• Python
• GLSL（用于渲染）

2. 项目使用的关键技术和框架

• 3D Gaussian Splats: 用于创建和渲染3D虚拟形象的动态外观。
• SMPL/SMPL-X: 人体模型框架，用于表示人体姿态和形状。
• NeRF (Neural Radiance Fields): 用于从单个视角视频重建3D场景的技术。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的计算机满足以下要求：

• 操作系统：Linux或macOS
• Python版本：3.8及以上
• 必须安装的Python库：NumPy, PyTorch, OpenCV等（具体要求请参考项目README文件）

安装步骤

1. 克隆项目仓库

   git clone https://github.com/aipixel/GaussianAvatar.git
   cd GaussianAvatar
   

2. 创建虚拟环境并安装依赖

   conda env create --file environment.yml
   conda activate gs-avatar
   

3. 编译依赖的C++代码 根据项目README中的指南编译diff-gaussian-rasterization和simple-knn。

4. 下载SMPL/SMPL-X模型和数据

   • 注册并从SMPL网站下载模型文件，放置到assets/smpl_files目录下。
   • 从OneDrive下载项目所需的数据，包括assets.zip，gs_data.zip和pretrained_models.zip，并解压到相应的目录。

5. 运行示例 使用项目提供的脚本和数据集，按照以下命令进行训练、评估和渲染新姿态：

   # 训练
   python train.py -s $gs_data_path/m4c_processed -m output/m4c_processed --train_stage 1
   
   # 评估
   python eval.py -s $gs_data_path/m4c_processed -m output/m4c_processed --epoch 200
   
   # 渲染新姿态
   python render_novel_pose.py -s $gs_data_path/m4c_processed -m output/m4c_processed --epoch 200
   

6. 使用自己的视频

   • 使用scripts/custom/process-sequence.sh脚本处理视频，生成必要的数据。
   • 转换姿态格式，开始训练。

以上步骤提供了一个基础的安装和配置指南。具体细节可能需要根据您的环境和需要进行调整。请参考项目的README文件和官方文档获取更多详细信息。