【AI技术】DH_Live部署方案

技术介绍

一款基于DINet的的模型，实现实时数字人驱动的框架。

项目地址

源码

优点

使用30和40系列显卡可以达到25fps以上的实时效率，少量训练素材就可以达到好的效果（这个是官方说的，实际发现还是用更多的训练素材可以达到更好的效果）

缺点

框架只负责实现了生成部分的代码，一些理想中类似LiveTalking那种的ASR、TTS、流媒体通信的协议都没有，需要后续使用者自己加入。

部署

基础环境的搭建

请参考Dokcer+Jupyter 部署算力服务

分步详解

国内镜像源切换

sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak sudo echo ``>sources.list

sudo bash -c "cat << EOF > /etc/apt/sources.list && apt update
deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
EOF"

源码下载

git clone https://github.com/kleinlee/DH_live.git

框架环境安装

pip install torch --index-url https://download.pytorch.org/whl/cu124
cd DH_live
pip install -r requirements.txt

模型压缩

cd checkpoint
cat render.pth.gz.001 render.pth.gz.002 > render.pth.gz
gzip -d -c render.pth.gz > render.pth

测试

重新回到DH_live目录，然后运行下面代码（项目中默认提供了测试资源）

python demo.py [预处理视频模型路径] [引用的音频文件路径] [输出视频路径]
# 例子
python demo.py video_data/test video_data/audio0.wav 1.mp4

运行自己的资源

python data_preparation.py YOUR_VIDEO_PATH

YOUR_VIDEO_PATH:你得视频地址
生成结束后会在项目目录下的video_data目录下生成一个uuid的目录，这个目录就是上面的测试中写道的[预处理视频模型路径]。运行测试的python文件，并且带入生成的模型路径就可以了。

实时麦克风驱动

代码中提供了可以使用当前设备麦克风来驱动数字人的使用方法，这个还是有这方面需求的。有些不露脸使用数字人实时直播的场景中是有这个需求的。不过具体的业务实现就需要我们自己去完善了。运行脚本附上：

python demo_avatar.py

部署文件分享

待定