Tacotron2训练笔记

已于 2022-05-17 21:38:15 修改 · 3.3k 阅读 · 26
文章标签：

#python #深度学习

于 2022-05-17 19:38:20 首次发布
本文档详细记录了使用NVIDIA Tacotron2模型进行语音合成的步骤，包括从科大讯飞获取音频数据，设置训练环境，调整超参数，训练模型，以及使用WaveGlow进行音频生成。通过训练，你可以将自定义文本转化为合成语音，并利用tensorboard监控训练过程。

Tacotron2(NVIDIA版)训练笔记

Tacotron2项目地址：https://github.com/NVIDIA/tacotron2
Tacotron2中文训练笔记：https://blog.youkuaiyun.com/qq_44951010/article/details/124830538
从科大讯飞爬取音频数据：https://blog.youkuaiyun.com/qq_44951010/article/details/124829630

步骤

  1. 下载项目或通过git clone https://github.com/NVIDIA/tacotron2.git拉取项目，

    下载ljspeech数据集

  2. conda创建虚拟环境conda create --name tacotron2 python=3.6，

    激活环境conda activate tacotron2，

    安装pytorch pip install toch==1.4(最好在tmux中安装)，

    安装其他依赖包pip install -r requirements.txt

  3. 进入filelists目录，当中有三个txt文件，记录了音频路径和文本的对应关系

最低0.47元/天 解锁文章
Tacotron 2运行笔记(纯小白向)
Dustw1nd的技术小屋
05-12 3957
昨天在***数学家是我理想大佬***的引领下终于跑通了NVidia tacotron2的经典模型代码，这里做一下记录，也帮之后入坑TTS的各位同学踩一下坑，话不多说，咱们开始。 0) 不管干嘛，第一步整好环境 torch过往版本下载地址： https://pytorch.org/get-started/previous-versions/#linux-and-windows-16 我的选项： CUDA 9.0+pytorch 1.1.0 conda install pytorch1.1.0 torchvi
Tacotron2中文训练笔记
qq_44951010的博客
05-17 3490
Tacotron2(NVIDIA版)中文训练笔记 Tacotron2项目地址：https://github.com/NVIDIA/tacotron2 Tacotron2英文训练笔记：https://blog.csdn.net/qq_44951010/article/details/124828260 从科大讯飞爬取音频数据：https://blog.csdn.net/qq_44951010/article/details/124829630 步骤 下载项目或通过git clone https://git
tacotron2运行笔记
qq_28662689的博客
05-14 6576
Tacotron-2: DeepMind的Tacotron-2的Tensorflow实现。 本文描述的深度神经网络结构：: Natural TTS synthesis by conditioning Wavenet on MEL spectogram predictions github地址：https://github.com/Rookie-Chenfy/Tacotron-2 这个 github...
pytorch - Tacotron2运行笔记
赫凯的博客
04-28 2384
搞了蛮多时间，就记录下 基于这个NVIDIA/tacotron2 首先，Tacotron2 是一个端到端的，就是文字序列进去出来的是语音序列，分两个一个是从文字到梅尔频谱图，一个是从梅尔频谱图转化成语音，两部分再Navida pytorch 代码里是分开的，就一个一个训练，首先先看tacotron2 前端部分，就跟着步骤一步步来就可以了，其中要下载和自己显卡相匹配的PyTorch版本，训练应该没有...
tacotron 2学习笔记1 数据准备篇
weixin_42256251的博客
04-07 689
tacotron 学习笔记 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验；...
Tacotron2论文笔记
weixin_45716534的博客
03-04 1059
Tacotron2声谱预测网络 前置知识 1.注意力机制 2.RNN 3.CNN LSTM 5.梅尔波形（mel spectrogram）——一种中间声学特征表示 模型概述 该语音合成系统由两个组件组成，如下图所示 一个循环seq2seq声谱特征预测网络，它从输入字符序列预测mel谱图帧的序列; 一个改进的WaveNet，它根据预测的mel谱图帧生成时域波形样本。 我们选择了一个低电平的声学表示:梅尔-频谱图，以连接这两个成分。使用一种很容易从时域波形计算出来的表示形式，可以让我们分别训练这两个分
Tacotron2论文阅读笔记
hiccupfrost的博客
07-28 880
Tacotron2 NATURAL TTS SYNTHESIS BY CONDITIONING WAVENET ON MEL SPECTROGRAM PREDICTIONS论文阅读笔记 简介 历史回顾： 前期方法：级联合成 、统计参量 特点：低沉不自然 方法：Wavenet 时域波形生成模型 特点：音质提高但是输入繁杂 Tacotron2 seq2seq 从字符序列到soectrograms，简化了语言声学特征产生的步骤 vocoder : tacotron1–使用短时傅立叶逆变换
Tacotron-2-keras:Tacotron-2的硬实施
05-26
提供预训练的Tacotron-2模型 提供与Mozilla 项目的兼容性（可选） 笔记： 我们的预处理仅支持Ljspeech和类似Ljspeech的数据集（M-AILABS语音数据）！ 如果在以不同方式存储的数据集上运行，则可能需要制作自己的...
python语音合成 标贝_GitHub - jiev/Tacotron-2-Chinese: 中文语音合成，改自 https://github.com/Rayhane-mamah/Tacotron-...
weixin_39897746的博客
02-04 1702
Tacotron-2-Chinese 中文语音合成预训练模型下载仅 Tacotron 频谱预测部分，无 WaveNet 声码器(实验中)，可用 Griffin-Lim 合成语音(见下)。使用标贝数据集训练，为避免爆显存用了 ffmpeg 把语料的采样率从 48KHz 降到了 36KHz，听感基本无区别。安装依赖安装 Python 3 和 Tensorflow 1.10(在 Tensorflow 1...
Tacotron2 原理及使用（基于TensorFlow）
weixin_39715670的博客
11-04 5739
环境：win10 + TensorFlow1.13.1，不支持TensorFlow2.0及以上 版权声明：本文为博主原创文章，转载请附上原文出处链接和本声明。 主要参考 Shen J , Pang R , Weiss R J , et al. Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Prediction...
tacotron2:Tacotron 2-具有比实时更快的推理能力的PyTorch实施
05-11
Tacotron 2（无波网） 基于的PyTorch实现。 此实现包括分布式和自动混合精度支持，并使用。 分布式和自动混合精度支持依赖于NVIDIA的和 。 请访问我们的以获取使用我们已发布的和模型的音频样本。 先决条件 NVIDIA GPU + CUDA cuDNN 设置 下载并提取 克隆此仓库： git clone https://github.com/NVIDIA/tacotron2.git 将CD放入此存储库： cd tacotron2 初始化子模块： git submodule init; git submodule update git submodule init; git submodule update 更新.wav路径： sed -i -- 's,DUMMY,ljs_dataset_folder/wavs,g' filelists/*.txt 或者，在hp
基于改造的tacotron算法训练中文语音合成系统,内含数据集连接以及环境搭建教程
05-30
基于改造的tacotron算法训练中文语音合成系统,内含数据集连接以及环境搭建教程
Python-PyTorch实现了Tacotron语音合成模型
08-11
PyTorch实现了Tacotron语音合成模型
Tacotron2源码
10-11
tacotron2源码，文本转语音，很好的资源，调试通过可用
Tacotron-2-VN
05-13
Tacotron-2： Deep mind的Tacotron-2的Tensorflow实现。 本文描述了一种深度神经网络架构： 仓库结构： Tacotron-2 ├── datasets ├── en_UK (0) │   └── by_book │   └── female ├── en_US (0) │   └── by_book │   ├── female │   └── male ├── LJSpeech-1.1 (0) │   └── wavs ├── logs-Tacotron (2) │   ├── mel-spectrograms │   ├── plots │   ├── pretrained │   └── wavs ├── papers ├── tacotron │   ├── models │   └── utils ├── tac
tacotron-2 安装及使用笔记
I think，therefore i am
12-08 2926
安装Ｔensorflow 版本及对应的CUDN. https://tensorflow.google.cn/install/source CUDA安装 CUDA下载链接 下载文件示例格式 cuda_10.0.130_410.48_linux.run 使用命令 sh cuda_10.0.130_410.48_linux.run来安装此文件 按照提示一步一步走 安装完成后用命令检查是否安装成功 cat /usr/local/cuda/version.txt 即可查看cuda版本 或者是输入...
Tacotron-2：通过调节 WaveNet 对 Mel 频谱预测的自然 TTS 合成
James Zhang's Blog
02-12 7621
根据论文：https://arxiv.org/abs/1712.05884 首先第一部分为论文主体的翻译： 摘要 这篇文章描述了一个直接从文本合成语音的神经网络架构，Tacotron-2。该系统由两部分组成，首先是把字符向量（character embeddings）映射到梅尔声谱（mel-scale spectrograms）的循环序列到序列（seq2seq）结构的特征预测网络，之后连接一...
Tacotron2 运行笔记
mathor的博客
09-28 2751
项目地址NVIDIA/tacotron2，先clone下来 git clone https://github.com/NVIDIA/tacotron2 配置环境 我的实验环境（ubuntu）： python==3.6.10 numpy==1.17.0 matplotlib==2.1.0 scipy==1.0.0 numba==0.48.0 librosa==0.6.0 tensorflow==1.15.2 pytorch==1.1.0 torchvision==0.3.0 inflect=0.2.5 Un
Tacotron2 的优缺点
子燕若水的博客
03-31 1045
Tacotron2结合亲和力模型的一种方式是通过使用基于注意力的机制，使模型能够动态地将输入的文本与生成的语音对齐。通过对齐输入文本和生成的语音，该模型能够更好地捕捉输入文本的音调模式，并产生更自然的语音。在语音合成中，语音模型被用来控制生成的语音的时间、音调和响度，以产生自然和富有表现力的输出。高质量的输出： Tacotron2能产生自然的、高质量的语音，具有很高的可理解性，听起来很舒服。多说话人训练： 在多个说话人的数据上训练模型，可以通过捕捉不同的说话风格、语调和口音来帮助提高模型的表现力。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值