sadTalker 开源数字人部署记录

前提

  1. 建议python3.8-python3.10环境
  2. 安装ffmpeg-release-full(多媒体处理框架),配置环境变量;音视频处理的核心。安装教程
  3. 源码地址:https://github.com/OpenTalker/SadTalker.git
  4. 博主测试成功的最低pc配置: i3-3240CPU / 4核8G / 集成显卡 Intel ® HD Graphics;19秒音频生成时长约3小时

部署

1.项目源码获取

若安装有git:创建该项目根目录,使用cmd或者 git bash打开命令窗口,输入命令git clone https://github.com/winfredy/SadTalker.git
git克隆项目

也可直接在源码地址下载压缩包解压即用:
压缩包下载

2.依赖文件获取

源码地址下载项目所需的依赖文件
在项目源码根目录下创建文件夹checkpoints,然后下载对应文件放入;

然后再下载gfpgan文件包,解压放在项目根目录下;


3.调整相关配置

修改requirements.txt文件,指定其中的gradio==3.50.0版本,不指定版本会下载高版本,不兼容

4.运行

运行项目根目录下的webui.bat:博主本地用了anaconda,且设置了清华源;先创建了一个sad虚拟环境,conda create -n sad python=3.8;激活环境,conda activate sad;再执行webui.bat;脚本启动会自动下载requirements.txt中的依赖

在这里插入图片描述

在这里插入图片描述

运行出错,红色部分这个错误如果python版本过高也会出现,博主这里是科学上网导致的,遂关闭科学上网。

备注

其他的博主出现过使用清华源tb-nightly依赖包缺失,修改为阿里源下载该依赖

// pip配置阿里源
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/

// conda 配置阿里源
conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/main/
conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/free/

博主测试安装依赖出现的异常情况处理方式

1、与科学上网有关,国内镜像源关闭科学上网,当切换多个国内镜像源依赖下载依旧异常,试试清除缓存pip cache purge 再进行依赖安装;可以设置回到默认PyPi镜像源https://pypi.org/simple

2、可删除镜像源配置文件(包括代理设置、镜像源、包缓存目录),避免镜像源污染,使用默认源,建议科学上网
直接使用python环境:配置文件pip.ini
使用conda环境:配置文件.condarc

镜像源配置

以下是其他博客借鉴过来的镜像源常规配置操作conda及pip设置镜像源
pip 镜像源管理

# 查看当前配置
pip config list
 
# 设置镜像源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
 
# 删除镜像源设置
pip config unset global.index-url
 
# 设置官方默认源
pip config set global.index-url https://pypi.org/simple

conda 镜像源管理

# 查看当前配置
conda config --show channels
 
# 添加镜像源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
 
# 删除指定镜像源
conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
 
# 删除所有自定义源(恢复默认)
conda config --remove-key channels
 
# 禁用显示源URL
conda config --set show_channel_urls false

常用的镜像源地址

# PyPI 官方源
https://pypi.org/simple
 
# 清华源
pip: https://pypi.tuna.tsinghua.edu.cn/simple
conda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
 
# 阿里源
pip: https://mirrors.aliyun.com/pypi/simple
conda: https://mirrors.aliyun.com/anaconda/pkgs/main/
 
# 中科大源
pip: https://pypi.mirrors.ustc.edu.cn/simple
conda: https://mirrors.ustc.edu.cn/anaconda/pkgs/main/

网上搜集的相关注意事项

1、图片分辨率建议512512 ;生成结果可能存在水印
2、B站有测试者提出:一分十八秒视频,图片512
512cpu i7 13700 4080 32GB ,程序内存占用17GB显存占用7.5GB耗时34分钟,建议32G内存显存10GB以上显卡
3、手动生成视频需要执行命令:

python inference.py --driven_audio e:\temp\sadtalker\speech_0.wav --source_image e:\temp\sadtalker\1.png --result_dir e:\temp\sadtalker --still --preprocess full --enhancer gfpgan
// e:\temp\sadtalker\speech_0.wav 替换成 你的语音文件
// e:\temp\sadtalker\1.png 替换从你的图片
// e:\temp\sadtalker 替换成你的输出目录
### 开源实时对话数字人项目的相关内容 开源实时对话数字人项目在 GitHub 上有许多优秀的实现,这些项目通常结合自然语言处理(NLP)、语音合成、图像生成等多种技术来创建高度互动的虚拟角色。下面是一些关键技术和具体项目的信息: #### 1. **Linly-Talker 智能数字人实时对话系统** Linly-Talker 是一个集成多种先进技术的智能 AI 系统,能够实现实时对话功能并支持个性化定制[^3]。其主要特点如下: - 结合大型语言模型(LLMs)与视觉模型,提供多模态交互能力。 - 使用 Whisper 进行语音识别,Microsoft 语音服务完成 TTS 合成。 - 借助 SadTalker 系统生成逼真的说话头部动画。 - 部署于 Gradio 平台,方便用户快速测试和体验。 #### 2. **PaddleSpeech** PaddleSpeech 是百度推出的基于 PaddlePaddle 的端到端语音处理工具包,适用于构建语音驱动型应用[^4]。虽然它本身不是完整的数字人解决方案,但它提供了强大的语音合成模块,可与其他组件配合使用以开发实时对话系统。 #### 3. **Fay 控制器** Fay 控制器是一款专注于管理数字人模型的应用框架,适合用于虚拟主播、商品导购等领域[^2]。它的优势在于灵活性强,开发者可以根据需求调整配置文件来自定义行为逻辑和服务接口。 #### 示例代码:调用 OpenAI API 构建聊天机器人 如果希望进一步扩展上述系统的功能,则可以通过第三方服务增强其实现效果。例如以下 Python 脚本展示了如何利用本地运行的服务模拟在线交流过程: ```python import openai if __name__ == "__main__": openai.api_base = "http://localhost:8000/v1" openai.api_key = "none" for chunk in openai.ChatCompletion.create( model="chatglm2-6b", messages=[ {"role": "user", "content": "你好"}, ], stream=True, ): if hasattr(chunk.choices[0].delta, "content"): print(chunk.choices[0].delta.content, end="", flush=True) ``` 此脚本实现了简单的流式响应机制,使得每次接收到新数据片段都会立即显示出来,从而提升用户体验感。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值