ASR-LLM-TTS 开源项目使用教程

ASR-LLM-TTS 开源项目使用教程

ASR-LLM-TTS This is a speech interaction system built on an open-source model, integrating ASR, LLM, and TTS in sequence. The ASR model is SenceVoice, the LLM models are QWen2.5-0.5B/1.5B, and there are three TTS models: CosyVoice, Edge-TTS, and pyttsx3 项目地址: https://gitcode.com/gh_mirrors/as/ASR-LLM-TTS

1. 项目介绍

ASR-LLM-TTS 是一个基于开源模型的语音交互系统，它集成了自动语音识别（ASR）、大型语言模型（LLM）和文本到语音（TTS）功能。该系统使用了 SenceVoice 作为 ASR 模型，QWen2.5-0.5B/1.5B 作为 LLM 模型，并提供了 CosyVoice、Edge-TTS 和 pyttsx3 三种 TTS 模型供选择。

2. 项目快速启动

环境配置

首先，你需要创建一个虚拟环境并安装必要的依赖项。

conda create -n chatAudio python=3.10
conda activate chatAudio
pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu118
pip install edge-tts==6.1.17 funasr==1.1.12 ffmpeg==1.4 opencv-python==4.10.0.84 transformers==4.45.2 webrtcvad==2.0.10 qwen-vl-utils==0.0.8 pygame==2.6.1 langid==1.1.6 langdetect==1.0.9 accelerate==0.33.0 PyAudio==0.2.14

运行示例

以下是运行 Edge-TTS 的一个简单示例：

python 13_SenceVoice_QWen2.5_edgeTTS_realTime.py

这将启动一个实时语音交互系统，使用 SenceVoice 进行语音识别，QWen2.5 进行对话理解，并使用 Edge-TTS 进行语音合成。

3. 应用案例和最佳实践

声纹识别

为了提高语音交互的个性化体验，你可以通过以下脚本添加声纹识别功能：

python 15.0_SenceVoice_kws_CAM++.py

语音打断

在交互过程中，你可能需要实现实时语音打断功能，可以通过以下脚本来实现：

python 13_SenceVoice_QWen2.5_edgeTTS_realTime.py

多模态交互

如果你想要实现音视频多模态交互，可以使用以下脚本：

python 14_SenceVoice_QWen2VL_edgeTTS_realTime.py

4. 典型生态项目

ASR-LLM-TTS 可以与多种开源项目集成，以下是一些典型的生态项目：

• CosyVoice：一个开源的语音合成库，提供了高质量的语音输出。
• FunASR：一个开源的语音识别库，支持多种语言的识别。
• QWen2.5：一个开源的大型语言模型，用于理解和生成自然语言。

通过这些开源项目的组合，你可以构建更加复杂和功能丰富的语音交互系统。

ASR-LLM-TTS This is a speech interaction system built on an open-source model, integrating ASR, LLM, and TTS in sequence. The ASR model is SenceVoice, the LLM models are QWen2.5-0.5B/1.5B, and there are three TTS models: CosyVoice, Edge-TTS, and pyttsx3 项目地址: https://gitcode.com/gh_mirrors/as/ASR-LLM-TTS