SelfTalk_release 项目使用教程

SelfTalk_release 项目使用教程

SelfTalk_release This is the official source for our ACM MM 2023 paper "SelfTalk: A Self-Supervised Commutative Training Diagram to Comprehend 3D Talking Faces"" 项目地址: https://gitcode.com/gh_mirrors/se/SelfTalk_release

1. 项目目录结构及介绍

SelfTalk_release/
├── BIWI/
│   ├── README.md
│   ├── vertices_npy/
│   └── wav/
├── VOCASET/
│   ├── process_voca_data.py
│   ├── vertices_npy/
│   └── wav/
├── demo/
│   ├── output/
│   └── wav/
├── main.py
├── demo_BIWI.py
├── demo_voca.py
├── data_loader.py
├── render.py
├── test.py
├── requirements.txt
├── README.md
└── LICENSE

目录结构说明

• BIWI/: 包含BIWI数据集的预处理文件和数据存储目录。

  • README.md: BIWI数据集的预处理说明。
  • vertices_npy/: 存储BIWI数据集的顶点数据。
  • wav/: 存储BIWI数据集的音频数据。

• VOCASET/: 包含VOCASET数据集的预处理文件和数据存储目录。

  • process_voca_data.py: 处理VOCASET数据集的脚本。
  • vertices_npy/: 存储VOCASET数据集的顶点数据。
  • wav/: 存储VOCASET数据集的音频数据。

• demo/: 包含演示文件和输出目录。

  • output/: 存储演示生成的视频文件。
  • wav/: 存储演示使用的音频文件。

• main.py: 项目的主启动文件，用于训练和测试模型。

• demo_BIWI.py: 用于BIWI数据集的演示脚本。

• demo_voca.py: 用于VOCASET数据集的演示脚本。

• data_loader.py: 数据加载器，用于加载和处理数据。

• render.py: 用于可视化结果的脚本。

• test.py: 用于测试模型的脚本。

• requirements.txt: 项目依赖的Python包列表。

• README.md: 项目的说明文档。

• LICENSE: 项目的许可证文件。

2. 项目的启动文件介绍

main.py

main.py 是项目的主启动文件，用于训练和测试模型。它支持以下功能：

• 训练模型: 通过指定数据集、顶点维度、特征维度等参数，训练模型。
• 测试模型: 在指定的数据集上测试已训练的模型。

使用示例:

python main.py --dataset vocaset --vertice_dim 15069 --feature_dim 512 --period 30

demo_BIWI.py 和 demo_voca.py

这两个文件分别用于BIWI和VOCASET数据集的演示。它们的主要功能是根据输入的音频信号生成3D说话人脸的动画。

使用示例:

python demo_voca.py --wav_path "demo/wav/test.wav" --subject FaceTalk_170908_03277_TA

3. 项目的配置文件介绍

requirements.txt

requirements.txt 文件列出了项目运行所需的Python包及其版本。通过以下命令可以安装所有依赖：

pip install -r requirements.txt

README.md

README.md 文件是项目的说明文档，包含了项目的概述、安装步骤、使用方法、数据集准备等信息。它是用户了解和使用项目的重要参考文档。

LICENSE

LICENSE 文件描述了项目的许可证信息，规定了项目的使用范围和限制。本项目使用的是Creative Commons Attribution-NonCommercial 4.0 International License。

SelfTalk_release This is the official source for our ACM MM 2023 paper "SelfTalk: A Self-Supervised Commutative Training Diagram to Comprehend 3D Talking Faces"" 项目地址: https://gitcode.com/gh_mirrors/se/SelfTalk_release