电脑:MAC AIR (INtel显卡,无GPU)
【我遇到的主要问题】
部署过程出现部署类似数字人模型不一样的报错,一是模型要用国内代理下载,二是最终要pip 、conda的通道改为清华的才解决。详细步骤如下:
1、给pip添加清华通道:
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
2、给conda添加清华通道:
conda config --add channels Index of /anaconda/pkgs/free/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
conda config --add channels Index of /anaconda/pkgs/main/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
3、给conda添加社区通道
conda config --add channels conda-forge
conda的镜像源也可以直接修改.condarc 的文件,conda 应用程序的配置文件。
4、创建SadTalker虚拟环境
conda create -n sadtalker python==3.8
conda activate sadtalker
5、依赖包安装
pip install torch==1.12.1
pip install torchvision==0.13.1
pip install torchaudio==0.12.1
6、安装ffmpeg音视频处理工具
conda install ffmpeg
7、克隆SadTalker
git clone https://github.com/OpenTalker/SadTalker
问题:老是致命错误,按照网友方案 改用下面:
git clone --depth 1 GitHub - OpenTalker/SadTalker: [CVPR 2023] SadTalker:Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation
还是老错误。
最后是通过国内代理下载解决的❤️
git clone https://ghproxy.com/https://github.com/OpenTalker/SadTalker.git (国内代理)
8、安装依赖的包
pip install -r requirements.txt
9、运行生成数字人声唇同步视频 ❤️❤️
python3 inference.py --driven_audio data/A.wav --source_image data/B.png
A.wav:要放在SadTalker下的data目录下,是驱动生成视频的声音
B.png:要放在SadTalker下的data目录下,是驱动生成说话/唱歌视频的人脸(口型)照片或者视频
以上命令可以增加以下参数对生成的视频进行控制:
--preprocess full : 保留全身,如果不加这个参数,则视频中只剩头部
--still : 减少头部晃动,头部晃动是会和脖子的连接部位脱节
--enhancer gfpgan :基于gfpgan对视频进行增强