DreamTalk 项目使用教程

DreamTalk 项目使用教程

dreamtalk 项目地址: https://gitcode.com/gh_mirrors/dr/dreamtalk

1. 项目介绍

DreamTalk 是一个基于扩散概率模型的音频驱动表达性头部生成框架，能够生成高质量的头部视频，适用于多种不同的演讲风格。该项目展示了在处理包括歌曲、多语言演讲、噪声音频和域外肖像等多样化输入时的强大性能。

2. 项目快速启动

安装环境

首先，创建并激活一个 Conda 环境：

conda create -n dreamtalk python=3.7.0
conda activate dreamtalk

安装所需的依赖包：

pip install -r requirements.txt
conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge
conda update ffmpeg
pip install urllib3==1.26.6
pip install transformers==4.28.1
pip install dlib

下载预训练模型

由于社会影响，预训练模型的公开下载已被暂停。如需获取模型，请发送电子邮件至 mayf18@mails.tsinghua.edu.cn 申请。请注意，发送此邮件即表示您同意仅将提供的方法用于学术研究目的。

将下载的模型放入 checkpoints 文件夹中。

运行推理脚本

使用以下命令运行推理脚本：

python inference_for_demo_video.py \
  --wav_path data/audio/acknowledgement_english.m4a \
  --style_clip_path data/style_clip/3DMM/M030_front_neutral_level1_001.mat \
  --pose_path data/pose/RichardShelby_front_neutral_level1_001.mat \
  --image_path data/src_img/uncropped/male_face.png \
  --cfg_scale 1.0 \
  --max_gen_len 30 \
  --output_name acknowledgement_english@M030_front_neutral_level1_001@male_face

3. 应用案例和最佳实践

应用案例

1. 多语言演讲生成：DreamTalk 可以处理多种语言的音频输入，生成相应的头部视频。
2. 歌曲表演生成：通过输入歌曲音频，DreamTalk 可以生成具有丰富表情的头部视频。
3. 噪声音频处理：即使在噪声音频输入的情况下，DreamTalk 也能生成高质量的头部视频。

最佳实践

• 输入音频格式：支持 wav, mp3, m4a, mp4 等格式。
• 输入图像要求：图像分辨率应大于 256x256，正面图像效果最佳。
• 调整配置参数：通过调整 --cfg_scale 参数，可以控制演讲风格的强度。

4. 典型生态项目

• PIRenderer：用于从参考视频中提取 3DMM 参数序列。
• AVCT：用于音频和视频的联合处理。
• StyleTalk：用于生成具有特定风格的演讲视频。
• Deep3DFaceRecon_pytorch：用于面部重建。
• Wav2vec2.0：用于音频特征提取。
• diffusion-point-cloud：用于点云数据的扩散处理。
• FOMM video preprocessing：用于视频预处理。

通过结合这些生态项目，DreamTalk 可以实现更复杂和多样化的应用场景。

dreamtalk 项目地址: https://gitcode.com/gh_mirrors/dr/dreamtalk