DNN+world歌声合成（含TTS）方法（第三代）＜1＞

最新推荐文章于 2025-06-12 09:04:52 发布
最新推荐文章于 2025-06-12 09:04:52 发布
阅读量1.5k 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： 歌声合成合成进阶教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_32393347/article/details/89304408
本文探讨了歌声合成的最新进展，重点介绍了wavenet+world方法，该方法在商业化中表现出色。文章分析了歌声特征、HMM声音合成框架、时间模型和基频稀疏问题。此外，还讨论了颤音建模、歌声库建立、乐谱分析和基频生成方法，强调了颤音和基频在歌声合成中的关键作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

行业研究现状

1.目前几个大厂和日本、西班牙一个大学都在研究歌声合成。目前先总结目前歌声合成的主要方法。
2. tacotron+wavenet
3. wavenet+world（目前效果最好，也是商用的）
4. glow
5. HMM（日本一个团队主要使用的方法，目前也在做DNN的方法，据说最新的算法效果还不错）

wavenet+world

wavenet

  • wavenet是谷歌团队提出的，可以说在音频领域影响是巨大的。
  • world是日本某大学的一个博士，是straight作者的得意门生，两个人是师徒。我仅仅有邮件和他们沟通交流过，所以大致了解。

歌声

  • 先说一下歌声吧。歌声的特征还是比较多的，参数的维度比较大。所以网络需要很大的修改。

基于HMM的声音合成框架

建模尺度

- 声韵母作为建模单元

建模结构

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
歌声合成 （Singing Voice Synthesis）理论
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
05-25 3183
歌声合成理论基础，音频处理工具，基频处理方法汇总。
Singing voice synthesis：related software
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
06-24 364
htk_io This python package allows reading and writing of files in some of the formats used by Hidden Markov Model Toolkit (HTK) <http://htk.eng.cam.ac.uk/>_ and HMM-based Speech Synthesis System...
OpenUtau：跨平台开源歌声合成编辑器
最新发布
needbaymax的博客
06-12 451
区别于传统工具，OpenUtau独创表达式替代UTAU标志系统，支持VCV、CVVC、Arpasing等多语言音素体系，涵盖英日韩中俄等语言适配。软件兼容VSQX格式导入，提供ENUNU AI歌手扩展接口与插件系统，虽不追求完全复刻Vocaloid功能，但通过简化工作流实现高效创作。通过鼠标滚轮与键盘快捷键协同操作，用户可流畅完成乐谱输入、颤音曲线调节及实时语音编辑，内置的WORLDLINE-R重采样器能直观调整参数曲线，配合预渲染技术大幅缩短音频预览等待时间。
语音合成（speech synthesis）方向六：歌唱合成（singing voice synthesis)
低调奋进
01-07 4747
声明：工作以来主要从事TTS工作，工程算法都有涉及，平时看些文章做些笔记。文章中难免存在错误的地方，还望大家海涵。平时搜集一些资料，方便查阅学习：TTS 论文列表 http://yqli.tech/page/tts_paper.html TTS 开源数据 http://yqli.tech/page/data.html。如转载，请标明出处。欢迎关注微信公众号：低调奋进 目录 1 研究背景 2研究情况 2.1 数据充足 2.1.1系统架构设计 2.1.2高采样率数据 2.2数据匮乏 ...
歌声合成理论教程(1)
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
05-20 1388
文章目录歌声合成原理音乐四要素语音产生的机理歌声合成研究现状基于波形拼接的方法基于统计模型汉语歌声合成：歌声转换基于统计模型的汉语歌声 合成研究基频模型HMM基于HMM的声音合成框架建模尺度建模结构特征提取模型训练阶段合成阶段歌声合成的关键歌声的市场与乐谱的关系歌声的基频与乐谱的关系时间模型基频稀疏问题实际基频与乐谱差值建模颤音建模歌声合成的评价方式 歌声合成原理 歌唱产生的音乐成为歌声。歌唱更注意着重于通过横膈膜和腹部甚至下腹部肌肉来调整呼吸， 从而更好地控制音高、音色等。 歌唱中的颤音是指音高急剧上下
【SVS】DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism
eggplant323的博客
09-12 1755
DiffSinger SVS via shallow diffusion mechanism
流量预测（DNN、DNN + GRU + GRU + Attention、DNN + GRU + AIGRU）
02-01
流量预测（DNN、DNN + GRU + GRU + Attention、DNN + GRU + AIGRU）prediction-flow 是一个 Python 包，提供基于现代深度学习的 CTR 模型。 模型由 PyTorch 实现。（Python完整源码和数据）
基于python+DNN+CNN实现的书法识别项目源码（毕业设计）
05-08
基于python+DNN+CNN实现的书法识别项目源码（毕业设计）基于python+DNN+CNN实现的书法识别项目源码（毕业设计）基于python+DNN+CNN实现的书法识别项目源码（毕业设计）基于python+DNN+CNN实现的书法识别项目源码...
基于python+DNN+CNN实现的书法识别项目+源码（毕业设计&课程设计&项目开发）
04-27
基于python+DNN+CNN实现的书法识别项目+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 基于python+DNN+CNN实现的书法识别项目+源码，适合毕业设计、课程...
Yolov5 + Opencv DNN + C++部署
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
03-28 1416
yolov5在opencv dnn c++调用，一般情况下cpu会选择该部署方式，yolov5s 输入：640*640 FPS:3.10 ，yolov5n 输入：640*640 FPS:4.33
探索音乐魔法：Awesome Singing Voice Synthesis & Singing Voice Conversion
gitblog_00035的博客
05-09 494
探索音乐魔法：Awesome Singing Voice Synthesis & Singing Voice Conversion 在这个充满创新的时代，音乐创作已经不再局限于传统的模式。随着科技的发展，人工智能在音乐领域的应用日益广泛，尤其是Singing Voice Synthesis（歌唱语音合成）和Singing Voice Conversion（歌唱语音转换）。今天，让我们一起深...
歌声合成理论基础.pdf
05-25
歌声合成理论基础，以及当前歌声合成的前沿知识以及处理的基本理论。
midi2voice:从MIDI文件唱歌合成
05-24
从MIDI文件唱歌合成 该脚本依赖于名古屋工业大学的网站，该网站实现了基于HMM的唱歌声音合成系统。 您可以找到与乐器音频合并的样本。 要求 musescore：用于将midi转换为musicxml Python3 安装 pip install midi2voice 用法 您可以使用它使用python -m运行已安装的模块。 它具有五个参数，lyrics_file，midi_file，歌手性别（可选），速度（可选）和目标文件夹（可选）。 使用范例 在检查midi和文本示例。 # Print help python3 -m midi2voice -h # Generate the voice given a midi file and a text file with the lyrics python -m midi2voice -l shallow.txt -m shallow.
歌声合成，中间目标是完成一个基于深度学习的中文歌声合成系统，最终目标是完成一个便于用户使用和定制的中文歌声合成系统
09-22
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
歌声合成原理
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
05-10 824
文章目录歌声合成原理音乐四要素语音产生的机理歌声合成研究现状基于波形拼接的方法基于统计模型汉语歌声合成：歌声转换基于统计模型的汉语歌声 合成研究基频模型HMM基于HMM的声音合成框架建模尺度建模结构特征提取模型训练阶段合成阶段歌声合成的关键歌声的市场与乐谱的关系歌声的基频与乐谱的关系时间模型基频稀疏问题实际基频与乐谱差值建模颤音建模歌声合成的评价方式歌声库的建立曲目选择乐谱分析标准的MIDI示例MusicXMLxml解析基线系统搭建歌声信号分析时域分析频域分析语谱分析提取工具worldWorld 通过Che
语音合成（TTS)论文优选：DeepSinger: Singing Voice Synthesis with Data Mined From the Web
低调奋进
01-06 1057
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 DeepSinger: Singing Voice Synthesis with Data Mined From the Web ​ 本文章是浙江大学和亚洲微软联合发表关于歌唱合成的文章，更新于2020.07.15，本文主要的贡献是如何使用网上爬取的数据来训练歌唱合成系统，具体的文章链接https://arxiv.org/..
《Exploring Cross-lingual Singing Voice Synthesis Using Speech Data》论文阅读
weixin_40695631的博客
04-01 181
任务 歌唱合成的目的是给定乐谱和旋律， 合成歌唱音频。歌唱合成系统能够通过训练目标说话人相关的同一语言下的歌唱/语音数据来构建。 目前大多数的歌唱合成系统只支持一种语言，给定说话人的语音数据（同一语言）来合成歌唱声音。如Tacotron2 GST模型加入speaker embedding， pitch 后就能扩展到只用语音数据来进行歌唱合成。但是目前用说话人的非目标语言数据来训练，合成目标歌唱音频是很有挑战性的（如给定说话人的英文语音数据， 希望合成说话人的中文歌唱音频）。 在这篇文章中介绍了一个跨语言的.
语音合成（TTS)论文优选：learn2sing target speaker singing voice synthesis by learning from a singing teacher
低调奋进
12-24 622
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 learn2sing target speaker singing voice synthesis by learning from a singing teacher 本文是西北工业大学语音和语言处理小组和北京标贝科技有限公司发表的文章，主要是使用普通语音来学习歌唱合成，具体的文章链接 https://arxiv.org/pdf
歌声合成方法和工具总结1
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
03-17 2085
主流的方法 tacotron + wavenet=tacotron2 demo：https://colab.research.google.com/github/r9y9/Colaboratory/blob/master/Tacotron2_and_WaveNet_text_to_speech_demo.ipynb 5.声码器 1. world 1. github地址：https://g...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI拉呱

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值