先看效果
上传一张图片和一段音频,照片如下:
合成后效果如下:
照片对口型-音频驱动
支持音频驱动和视频驱动,视频可以使照片有参照视频中的口型和和动作。
项目地址
https://github.com/yerfor/Real3DPortrait
我的环境
win10,python3.10.8,cuda11.7
环境部署
安装步骤:https://github.com/yerfor/Real3DPortrait/blob/main/docs/prepare_env/install_guide.md
windows下torch torchvision torchaudio的安装参照https://pytorch.org/get-started/locally/,选择对应的平台、cuda版本后复制安装命令:pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu…
visualstudio安装:https://visualstudio.microsoft.com/zh-hans/downloads/
cuda安装:https://developer.nvidia.com/cuda-toolkit-archive,之前安装其他版本CUDA的不用卸载,可以同时安装两个,在环境变量中设置CUDA_HOME就行。
安装中遇到的问题
- 安装Pytorch3D报错:
3 errors detected in the compilation of “C:/Users/Administrator/AppData/Local/Temp/pip-reg-bui1d-0hwl1r79/pytorch3d/csrc/pulsar
cuda/renderer.backward. gpu. cu”.
解决方案:参考链接 https://github.com/facebookresearch/pytorch3d/issues/1227
省流:据说是CUDA中的CUB版本不行(1.15),要手动重新下载1.17版本,在https://github.com/NVIDIA/cub/releases下载cub1.17版本,替换cuda下的cub(C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\include\cub)
然而替换以后我这里换了一个错(C:/Program File