十、训练自己的TTS模型

已于 2023-07-03 11:50:01 修改
阅读量2.2k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： AI图像处理模型与应用 文章标签： tts 语音克隆 自己的语音
于 2023-06-28 20:34:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/vandh/article/details/131444380
本文详细介绍了如何从零开始训练个人专属的TTS模型，包括音频采集、降噪、分割、文本获取、数据预处理、模型训练等多个步骤，并列出在训练过程中可能遇到的错误及解决办法，最终使用PaddleSpeech和MFA完成模型构建。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

        开源项目：https://github.com/jerryuhoo/VTuberTalk
        解决错误无数多个，修改多个脚本，苦熬几昼夜，终于杀青，功成垂败。特比注意，训练样本少于500条语句，效果灰常差，可以直接放弃。

1、安装
cpu版本：如果只是单纯使用，建议安装这个版本。
conda create -n paddlespeech python=3.8
conda activate paddlespeech
pip install -r requirements_cpu.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2、安装cpu版本的paddlepaddle
# cpu 版本的示例, 需要paddle 2.3.0以上版本
python3 -m pip install paddlepaddle==2.4.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
python3 -c "import paddle;paddle.utils.run_check()"

3、获取音频
从B站获取音频的方法： 可以用bilibili助手下载Vtuber的录播flv文件，再转成wav文件。
从YouTube获取音频的方法： 可以用TamperMonkey上的YouTube下载器下载mp4文件，再转成wav文件。
安装依赖库：
pip install pydub
python tools/video

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【语音技术】TTS技术详解，看这一篇就够了
电视里爬出的程序员 📺💻 领域王牌： ▶ 数字电视标准解码专家 ▶ 智能监控算法驯兽师 ▶ Linux嵌入式炼金术士 ▶ 人脸识别整活实践家
06-24 1260
文本输入] → [预处理] → [模型推理] → [音频生成] → [播放/保存]阶段工具/方法输出形式文本输入用户输入、文件读取字符串预处理清洗、标准化Token ID 序列模型推理Mel 频谱图 或 波形音频音频生成.wav 文件播放/保存音频播放或磁盘存储。
使用 PaddleSpeech 训练一个自己的 TTS 模型
小湉湉的博客
10-26 4039
使用 PaddleSpeech 训练一个自己的 TTS 模型
AI 语音克隆实战：TTS 模型训练与情感合成
最新发布
2501_92486623的博客
06-17 838
TTS模型是一种将文本转换为语音的算法。它通常包括两个主要部分：文本分析（Text Analysis）和声学模型（Acoustic Model）。文本分析负责将输入的文本转换为音素序列，而声学模型则将这些音素转换为波形。文本分析：文本分析主要包括分词、词性标注、音素转换等步骤。这些步骤旨在将文本转换为适合声学模型处理的音素序列。声学模型：声学模型负责将音素序列转换为波形。目前常用的声学模型有：隐马尔可夫模型（HMM）、深度神经网络（DNN）和循环神经网络（RNN）等。
TTS之训练vocoder
Barbara‘s Blog
06-15 1249
TTS之训练vocoder 1.先将代码下载到服务器，并安装 git clone https://github.com/mozilla/TTS pip install -e . 注： pip install e . 与setup.py关系： Editable—pip-----------------setup.py yes---------pip install -e . —python setup.py develop no----------pip install . ------ python se
使用Sbert预训练的TTS模型《Expressive Text-to-Speech using Style Tag》
Dustw1nd的技术小屋
05-05 1465
0）在这一个多月的论文阅读和代码复现的过程中，大多数论文都是从Mel频谱下手获得更解离的、更具有解释性的信息，如pitch，speaker ID和emotion等，但是从文本中获取信息的只占少部分，最近看到一篇关于BERT预训练的TTS论文，所以在这里做一下记录。 1）论文照例先阐述一下当前研究方向的一些缺点 ①利用风格分类标签如感情标签等，但是由于只能预定义样式，所以表达多样性较差 ②使用参考音频提取特征作风格输入，这样虽然不需要标记，但是合成的音频时间长且不直观，解释性差。 2）然后文章提出style
一个轻量级的TTS模型实现
ming_311的专栏
06-19 638
使用python训练一个文字转语音的TTS模型，供大家学习参考
Maybe-TTS: 自准备数据集训练Tacotron+Vocoder
ruclion的专栏
01-13 418
0. 说明 重新整理一遍, 设置为标准
1分钟的语音数据也可以用来训练一个很好的TTS模型!(少量镜头语音克隆).zip
02-07
在传统的观念中，训练TTS模型通常需要大量的语音数据，但随着技术的发展，这一需求正在降低，这为快速定制个人化语音提供了可能。 TTS系统是一种将文本转换为语音的技术，广泛应用于有声读物、智能助手、语音导航等...
大模型之三十二-语音合成TTS(coqui)
10-15
在本篇文章中，我们将详细介绍一个名为“coqui”的TTS模型，这是大模型系列中的第三十二个模型。 “coqui”这个术语可能来源于该项目的开源性质，该项目致力于提供一个免费、易于使用的语音合成框架，让研究者和...
TTS | VocGAN声码器训练自己的数据集
weixin_44649780的博客
08-16 916
本博客主要介绍的是如何使用VocGAN声码器训练不同的数据集~
三元组训练跨语种tts
coder22的博客
05-08 1095
Atriplet由anchor、正样本和负样本组成。 三元组损失是一种成对损失，它最小化锚样本和正样本表示之间的距离，同时最大化锚点和负样本之间的距离。 triplet loss encourages the pronunciation of the synthesizedforeign speech to be close to that of the native anchor speaker,while maintaining the speaker identity of its own 分俩阶
使用f5-tts训练自己的模型笔记
wy53111的博客
05-25 704
服务器都有了，这不得练练丹，有点说不过去啊。所以尝试了从头开始训练一个模型，结果由于推理页面好像有bug，不知道是不是失败了，然后又尝试微调一下模型。本篇文章主要记录了三流调包侠尝试炼丹过程中学习到的一些知识。
PnG BERT - 用于TTS的预训练BERT模型（变种）
guoshaotong的博客
10-14 1293
文章目录模型结构实验及结果分析 本文提出了一种BERT变种，PngBert是google在interspeech 2021提出的一种可以用做TTS encoder的预训练模型。 该模型在BERT基础上，添加了字素信息和字素位置信息，在修改了mask方式，并用大数据量预训练模型，冻结底层参数之后，与TTS联合训练，作为TTS Encoder， 从而提升韵律和自然度。 模型结构 BERT等语言学信息添加到TTS训练过程是一个较早就开始使用的用于提升合成自然度或者韵律的方式。包括使用 word embeddi
ResCNN Encoder建模音色联合Tacotron训练TTS
ruclion的专栏
11-11 528
咱们使用speaker embedding的时候, 可以有两种用法, 一种是one-hot 然后映射到embedding空间, 同一个说话人所有句子共用一个embedding; 第二种是对每句话进行变长序列到embedding的encode, 比如speaker reference encoder[1], ResCNN encoder[2][3]等, 相当于提取句子中说话人特征; [1]2018-Transfer Learning from Speaker Verification to Mul..
端到端的TTS深度学习模型tacotron(中文语音合成)
热门推荐
yunnangf的博客
03-19 3万+
TACONTRON: A Fully End-to-End Text-To-Speech Synthesis Model通常的TTS模型包含许多模块，例如文本分析， 声学模型， 音频合成等。而构建这些模块需要大量专业相关的知识以及特征工程，这将花费大量的时间和精力，而且各个模块之间组合在一起也会产生很多新的问题。TACOTRON是一个端到端的深度学习TTS模型，它可以说是将这些模块都放在了一个黑箱子
TTS训练环境安装
weixin_42831564的博客
06-27 1800
这些库涵盖了数据处理、代码质量检查、机器学习、科学计算、音频处理、自然语言处理和实时通信等多个领域。根据你的项目需求，可以选择合适的库来完成相应的任务。如果你使用 Anaconda 或 Miniconda 管理 Python 环境，建议使用。这个模块通常用于自然语言处理任务中，例如使用 BERT、GPT 等预训练模型。创建的环境），请确保你已经激活了相应的环境，并在其中安装了。错误表示在你的 Python 环境中没有安装。如果你使用的是 Python3，请确保使用。错误，并在你的项目中使用。
通过FastSpeech2中文合成项目梳理TTS流程2: 数据训练（train.py)
weixin_42745601的博客
09-21 2647
1. 参考github网址： GitHub - roedoejet/FastSpeech2: An implementation of Microsoft's "FastSpeech 2: Fast and High-Quality End-to-End Text to Speech" 2. 数据训练所用python 命令： python3 train.py -p config/AISHELL3/preprocess.yaml -m config/AISHELL3/model.yaml -t conf
Text-To-Speech (TTS) 模型应用
厉力文武
04-19 1547
modelscope 模块的 Tasks 定义了预设任务类型的枚举类和常量，在机器学习和深度学习过程中，定义了模型所要解决的具体问题或应用领域，如分类、回归、文本摘要、文本生成、语音识别、语音合成等。然后调用并执行任务，input 参数代表输入的文本，及待合成的文本信息，voice 参数为合成语音时的特征，如发音人风格、语速、音高等，具体效果取决于模型和项目的实现，可能是字符串、数字、字典或其他复合类型，用来描述合成语音所需的声音特性。最后创建了一个临时文件，并在代码块结束后自动关闭文件。
机器学习】ChatTTS-开源文本转语音（text-to-speech）大模型天花板
12-09 3064
ChatTTS 是一款专门为对话场景（例如 LLM 助手）设计的文本转语音模型。本文首先以VITS为例，对TTS基本原理进行简要讲解，让大家对TTS模型有基本的认知，其次对ChatTTS模型进行step by step实战教学，个人感觉4万小时语音数据开源版本还是被阉割的很严重，可能担心合规问题吧。其次就是没有特定的角色与种子值对应关系，需要人工去归类，期待更多相关的工作诞生。
如何在Ubuntu上训练TTS模型
03-20
### 在 Ubuntu 系统中搭建和训练 TTS 模型 #### 1. 安装必要的依赖项 在开始之前，需要安装一些基础工具和库来支持深度学习环境。以下是常见的依赖列表： - **Python**: 推荐版本为 Python 3.8 或更高。 - **CUDA 和 cuDNN (可选)**: 如果计划使用 GPU 加速，则需安装 NVIDIA 的 CUDA 工具包以及 cuDNN 库。 - **虚拟环境管理器**: 建议使用 `conda` 来创建隔离的开发环境。 可以通过以下命令完成基本设置： ```bash sudo apt update && sudo apt upgrade -y sudo apt install python3-pip git build-essential libsndfile1 ffmpeg sox -y pip3 install --upgrade pip setuptools wheel ``` 对于 GPU 支持，可以按照官方文档下载并安装适合系统的 CUDA 版本[^1]。 --- #### 2. 创建虚拟环境 为了防止不同项目之间的依赖冲突，建议使用 Conda 虚拟环境： ```bash conda create -n tts_env python=3.9 conda activate tts_env ``` 激活环境后，安装所需的深度学习框架及相关依赖： ```bash pip install torch torchvision torchaudio transformers librosa matplotlib jupyterlab ipython ``` 如果需要 GPU 支持，请确保 PyTorch 正确检测到可用设备： ```python import torch print(torch.cuda.is_available()) # 输出应为 True ``` --- #### 3. 获取预训练模型或实现自定义架构 可以选择基于现有的开源框架快速启动项目，或者自行设计 Acoustic Model 和 Language Model。常用的 TTS 开源框架包括 Tacotron2、FastSpeech2 和 WaveGlow。 ##### 方法一：加载预训练模型 利用 Hugging Face 提供的 Transformers 库可以直接获取经过微调的 TTS 模型实例： ```python from transformers import SpeechT5Processor, SpeechT5ForTextToSpeech, SpeechT5HifiGan processor = SpeechT5Processor.from_pretrained("microsoft/speecht5_tts") model = SpeechT5ForTextToSpeech.from_pretrained("microsoft/speecht5_tts") vocoder = SpeechT5HifiGan.from_pretrained("microsoft/speecht5_hifigan") input_text = "Hello world!" inputs = processor(text=input_text, return_tensors="pt") audio = model.generate_speech(inputs["input_ids"], vocoder=vocoder) # 将音频保存至文件 with open('output.wav', 'wb') as f: audio.export(f, format='wav') ``` 上述代码片段展示了如何通过简单的 API 调用来生成语音信号。 ##### 方法二：定制化建模流程 当追求更高的灵活性时，可以从零构建完整的流水线。这涉及以下几个模块的设计与集成： - 文本处理单元（Tokenizer） - 音韵学特征提取器（Phoneme Extractor） - 声码器网络结构（Vocoder） 具体实现细节取决于所选用的具体算法和技术栈[^2]。 --- #### 4. 数据准备与标注 高质量的数据集是成功的关键因素之一。公开资源如 LJSpeech Dataset 可作为初始素材来源；同时也可以采集自有数据加以扩充。每条记录应当包含对应的文本描述及其录音样本。 整理后的目录树可能形如下述形式： ``` data/ ├── metadata.csv # CSV 文件存储映射关系 └── wavs/ # WAV 格式的原始声音片段集合 ├── LJ001-0001.wav └── ... ``` --- #### 5. 训练过程监控 借助 JupyterLab 平台能够方便地调试脚本逻辑并观察损失变化趋势。启动服务前先切换工作路径指向目标位置： ```bash cd /path/to/project/src jupyter lab --port=8888 --no-browser & ``` 随后，在浏览器地址栏输入指定链接即可进入交互界面。 运行期间可通过 TensorBoard 进一步可视化指标曲线图谱辅助分析优化策略效果评估情况。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

vandh

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值