AD-NeRF 项目使用教程

AD-NeRF 项目使用教程

AD-NeRFThis repository contains a PyTorch implementation of "AD-NeRF: Audio Driven Neural Radiance Fields for Talking Head Synthesis".项目地址:https://gitcode.com/gh_mirrors/ad/AD-NeRF

1. 项目的目录结构及介绍

AD-NeRF 项目的目录结构如下：

AD-NeRF/
├── dataset/
│   └── $id/
│       ├── HeadNeRF_config.txt
│       ├── TorsoNeRF_config.txt
│       ├── TorsoNeRFTest_config.txt
│       ├── aud.npy
│       ├── logs/
│       │   ├── $id_head
│       │   └── $id_com
│       └── vids/
├── NeRFs/
│   ├── TorsoNeRF/
│   │   └── run_nerf.py
│   └── data_util/
├── pretrained_models/
├── LICENSE
├── README.md
├── environment.yml
└── process_data.sh

目录结构介绍

• dataset/: 存储数据集的目录，每个数据集有一个独立的子目录 $id。
  • $id/: 数据集的子目录，包含配置文件、日志文件和视频文件。
    • HeadNeRF_config.txt: HeadNeRF 的配置文件。
    • TorsoNeRF_config.txt: TorsoNeRF 的配置文件。
    • TorsoNeRFTest_config.txt: TorsoNeRF 测试的配置文件。
    • aud.npy: 音频文件。
    • logs/: 存储训练日志的目录。
    • vids/: 存储视频文件的目录。
• NeRFs/: 包含 NeRF 模型的实现代码。
  • TorsoNeRF/: TorsoNeRF 模型的实现代码。
    • run_nerf.py: TorsoNeRF 的启动文件。
  • data_util/: 数据处理工具。
• pretrained_models/: 预训练模型文件。
• LICENSE: 项目许可证文件。
• README.md: 项目说明文件。
• environment.yml: 项目依赖环境配置文件。
• process_data.sh: 数据处理脚本。

2. 项目的启动文件介绍

项目的启动文件是 NeRFs/TorsoNeRF/run_nerf.py。该文件用于启动 TorsoNeRF 模型的训练和测试。

启动文件介绍

• run_nerf.py: 主要用于训练和测试 TorsoNeRF 模型。
  • 训练命令：

    python NeRFs/TorsoNeRF/run_nerf.py --config dataset/$id/TorsoNeRF_config.txt
    

  • 测试命令：

    python NeRFs/TorsoNeRF/run_nerf.py --config dataset/$id/TorsoNeRFTest_config.txt --aud_file=dataset/$id/aud.npy --test_size=300
    

3. 项目的配置文件介绍

项目的配置文件主要位于 dataset/$id/ 目录下，包括 HeadNeRF_config.txt、TorsoNeRF_config.txt 和 TorsoNeRFTest_config.txt。

配置文件介绍

• HeadNeRF_config.txt: HeadNeRF 模型的配置文件，包含模型训练的参数设置。
• TorsoNeRF_config.txt: TorsoNeRF 模型的配置文件，包含模型训练的参数设置。
• TorsoNeRFTest_config.txt: TorsoNeRF 模型测试的配置文件，包含模型测试的参数设置。

这些配置文件定义了模型的各种参数，如学习率、批大小、训练轮数等。通过修改这些配置文件，可以调整模型的训练和测试行为。

AD-NeRFThis repository contains a PyTorch implementation of "AD-NeRF: Audio Driven Neural Radiance Fields for Talking Head Synthesis".项目地址:https://gitcode.com/gh_mirrors/ad/AD-NeRF