语音合成论文优选：通用tts系统Towards Universal Text-to-Speech

最新推荐文章于 2025-07-09 01:54:23 发布
原创 最新推荐文章于 2025-07-09 01:54:23 发布 · 527 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语音识别 #人工智能 #深度学习 #自然语言处理 #机器学习

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

Towards Universal Text-to-Speech

本文是中国微软在interspeech 2020发表的关于通用语音合成系统的文章，可以灵巧的扩展新的speaker和language，具体文章链接

https://www.isca-speech.org/archive/Interspeech_2020/pdfs/1590.pdf

1 研究背景

这篇文章主要研究通用性tts，即多语言和多说话人共用一个模型（本文实验1250小时数据，50种语言）。为了解决语言之间和说话人之间的数据不平衡问题，本文采用数据采样策略来优化数据较少的语言数据或者说话人数据。另外本系统可以更灵活的扩展新的语言和说话人。

2 详细设计

本文的系统结构如下图1所示，其中主要包括encoder-decoder模块，speaker network和language netowrk, neural vocoder。其中语言的音素集合是相互独立，即每种语言一个单独的音素表。图2展示，即使不同语言的音素不放在一起，但发音相似的音素会聚在一起。另外本文的重点是解决数据的不平衡，如公式1所示，对每个batch数据进行抽样，其概率需要添加参数α 控制，其中α ∈ [0, 1].（本文取值0.2）

最低0.47元/天 解锁文章

200万优质内容无限畅学
GPT-4o背后的语音技术
小哲的博客
01-15 948
GPT-4o是一个**any2any的多模态模型**，能够接受文本、音频、图像、视频等多模态输入，也能够生成包含文本、语音、图像和视频等混合内容的多模态输出。本文主要谈**语音多模态的实现**，并分享一些对于语音研究未来发展的看法。
【AI视野·今日NLP 自然语言处理论文速览 第三十八期】Thu, 21 Sep 2023
TomRen
09-22 1722
AI视野·今日CS.NLP 自然语言处理论文速览 Thu, 21 Sep 2023 Totally 57 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Chain-of-Verification Reduces Hallucination in Large Language Models Authors Shehzaad Dhuliawala, Mojtaba Komeili, Jing Xu, Roberta Ra
语音合成（TTS)论文优选：End-to-End Code-Switching TTS with Cross-Lingual Language  Model
低调奋进
12-02 882
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 End-to-End Code-Switching TTS with Cross-Lingual Language Model 本文章是新加坡国立大学电气与计算机工程系李海洲老师团队在icassp 2020发表的文章，主要做语言转换TTS工作，具体的文章链接 https://ieeexplore.ieee.org/abstrac.
语音合成（TTS)论文优选：TTS-BY-TTS: TTS-DRIVEN DATA AUGMENTATION FOR FAST AND HIGH-QUALITY SPEECH SYNTHESIS
低调奋进
11-27 397
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。欢迎关注公众号：低调奋进 TTS-BY-TTS: TTS-DRIVEN DATA AUGMENTATION FOR FAST AND HIGH-QUALITY SPEECH SYNTHESIS 本篇文章主要使用TTS合成的音频来优化TTS,我感觉这个思想跟编译器的“自举”行为非常相似。该篇文章2020.10.26出自韩国和日本，具体链接 http://yql.
【GitHub项目推荐--开源语音合成工具MegaTTS 3】【转载】
j8267643的博客
05-24 385
：：：项目链接：
语音合成（TTS)论文优选：feathertts:robust and efficent attention based neural tts
低调奋进
11-27 473
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。欢迎关注微信公众号：低调奋进 FEATHERTTS: ROBUST AND EFFICIENT ATTENTION BASED NEURAL TTS 本文章是腾讯继featherwave之后又一篇feather系列文章，featherwave是基于multiband的声码器，而本文章是声学模型，更新与2020.11.02。具体链接https://arxiv.o.
语音合成（TTS)论文优选：Building Multilingual TTS using Cross-Lingual Voice Conversion
低调奋进
01-08 655
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Building Multilingual TTS using Cross-Lingual Voice Conversion 本文章是日本东京的日立制作所研发集团在2020.12.27更新的文章，主要使用单语言语料来构建多语言的语音合成系统，具体的文章链接 https://arxiv.org/pdf/2012.14039.pdf
语音合成（TTS)论文优选：HiFiSinger:TowardsHigh-Fidelity Neural Singing Voice Synthesis
低调奋进
12-29 879
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 HiFiSinger:TowardsHigh-Fidelity NeuralSingingVoiceSynthesis 本篇文章主要是亚洲微软关于高质量音乐合成的研究，主要处理使用48kHz的音频数据带来的挑战，使合成的音乐质量更高，文章更新2020.09.03，具体的链接https://arxiv.org/pdf/2009...
AIGC语音克隆VS传统语音合成：技术对比与未来趋势
大模型应用工坊
05-06 741
随着人工智能技术的快速发展，语音合成领域呈现出传统技术体系与AIGC新技术范式的分野。本文旨在通过系统性对比分析，揭示两种技术路线的核心差异、适用场景及演进逻辑，为技术选型、产品开发和学术研究提供理论支撑。研究范围涵盖技术原理、算法实现、数学模型、工程实践及行业应用，重点关注深度学习驱动的AIGC语音克隆技术对传统语音合成的范式革新。背景介绍：定义核心概念，明确研究范围核心概念与联系：构建技术架构图，解析关键术语核心算法原理：对比传统与AIGC合成算法，附Python实现数学模型与公式。
借助Whisper提升AI人工智能语音合成质量
最新发布
欢迎来到我的优快云空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
07-09 241
本文旨在探讨如何利用Whisper模型提升AI语音合成(TTS)系统的质量。我们将分析Whisper的技术原理，研究其与TTS系统的结合方式，并提供实际应用案例和优化策略。本文首先介绍Whisper模型的基本原理，然后深入探讨其在语音合成中的应用方法，接着通过实际案例展示实现过程，最后讨论未来发展方向。Whisper: OpenAI开发的开源语音识别模型，具有强大的多语言识别能力: 文本转语音技术，将书面文字转换为自然语音: 自动语音识别技术Mel谱图: 语音信号的一种时频表示方法。
语音合成（TTS)论文优选：gaussian lpcnet for multisample speech synthesis
低调奋进
11-29 571
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 GAUSSIAN LPCNET FOR MULTISAMPLE SPEECH SYNTHESIS 该文章出自莫斯科华为，主要工作是对LPCNET进行性能优化（感觉这种方法还是不错的，主要对decoder部分进行优化，bunching lpcnet的sample bunching就是借鉴该篇文章），文章链接 http://yqli.
Meta-learning for Multilingual Text-to-Speech-论文梳理
ruclion的专栏
10-09 799
文本规范化处理 中文 https://github.com/lxyu/pinyin 疑问：和pypinyin哪一个好，不过目前没意义，不用管 实验一：测试GEN系统的CER稳定性 实验设置 只用CSS10单说话人，所有结构都不考虑多说话人，去掉speaker embedding 训练的超参省略 实验目的 ...
语音合成（TTS)论文优选：ByteSing: A Chinese Singing Voice Synthesis System Using Duration Allocated Encoder-De
低调奋进
01-05 673
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 ByteSing: A Chinese Singing Voice Synthesis System Using Duration Allocated Encoder-Decoder Acoustic Models and WaveRNN Vocoders 本篇文章是总部ai实验室在2020.04.23更新的文章，主要做音乐合成，具
TTS | 一文了解语音合成经典论文/最新语音合成论文篇【20240111更新版】
热门推荐
weixin_44649780的博客
03-08 1万+
Text-to-speech(TTS)文本到语音，也就是语音合成。本文主要介绍一些语音合成的综述以及一系列经典论文。现有的语音合成的模型大多基于以下模型的核心思想。
shell编程
PuceHeart的博客
10-27 810
shell编程 最基本要求： ​ 1.了解Shell的基本语法结构 数组 条件判断 循环控制 分支语句 函数 ​ 2.了解正则表达式的运用 ​ 3.学习文本处理工具cut、awk、sed等 ​ 4.可以使用Shell完成一些较为复杂的任务（服务搭建、批量文件处理、脚本工具等） 一、shell介绍 1.1 Shell是什么？ ​ 定义：shell是一个命令解释器 a）shell位于操作系统和应用程序之间，是他们二者的接口，负责：把应用程序的输入命令信息解释给操作系统，将操作系
【论文学习】《FastSpeech: Fast, Robust and Controllable Text to Speech》
求求你们别卷了
06-27 2899
《FastSpeech: Fast, Robust and Controllable Text to Speech》论文学习 文章目录《FastSpeech: Fast, Robust and Controllable Text to Speech》论文学习  摘要  1 介绍  2 背景  3 FastSpeech    3.1 前馈 Transformer    3.2 长度调节器    3.3 持续时间
《ADASPEECH: ADAPTIVE TEXT TO SPEECH FOR CUSTOM VOICE》论文阅读
weixin_40695631的博客
05-09 420
Motivation 目前语音合成中商业化的服务——语音定制， 对TTS提出了两项挑战： （1） 为了支持不同的用户， 自适应魔心更需要处理各种声学情况， 这和源数据是由很大差别的。 （2） 为了支持大量的用户， 自适应参数需要足够小， 并且还能保存高质量的语音 因此提出了AdaSpeech， 一个自适应地TTS系统，能够定制高质量，有效的声音。 Previous work 在语音定制过程中， 通常用少量的个性化语音样本来自适应源TTS模型。少量的自适应数据对合成语音的自然度和相似度提出了更大的挑战。 并.
语音合成（TTS）论文优选：过平滑问题分析及优化Revisiting Over-Smoothness in Text to Speech
低调奋进
03-04 3347
声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg）。如有转载，请
语音合成(TTS)论文优选：视觉文本语音合成vTTS: visual-text to speech
低调奋进
03-29 4115
本文提出了视觉文本到语音（vTTS），这是一种从视觉文本（即，文本作为图像）合成语音的方法。vTTS 能够生成自然度与传统 TTS 相当或更好的语音，它无需额外的标签和架构就可以将视觉文本中的重点和情感属性转移到语音中，并且对于生僻文字及集外文字更加鲁棒。
DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
02-14
### DeepSeekMoE 实现极致专家专业化 在 Mixture-of-Experts (MoE) 语言模型中，DeepSeekMoE 致力于实现专家的极致专业化。为了达到这一目标，该研究引入了一种新颖的方法来处理专家之间的知识共享和隔离问题。 #### 共享专家隔离机制 分配给不同专家的 token 可能需要一些共同的知识，这可能导致多个专家在其参数中收敛于相同的共享知识，进而造成专家参数的冗余[^2]。为了避免这种冗余并提高参数效率，DeepSeekMoE 设计了一个特殊的共享专家子集。这些共享专家始终处于激活状态，负责捕捉和整合跨上下文的通用知识。因此，其他路由专家可以专注于更特定的任务，减少了重复学习的可能性，提升了整体模型性能和资源利用效率。 #### 极致专家专业化策略 除了上述提到的共享专家外，DeepSeekMoE 还采用了多种技术手段促进各领域内专家的专业化程度： - **动态调整门控网络**：通过优化门控函数的设计，使得每个输入样本能够被最合适的少数几个专家处理，而不是平均分布到所有可用专家上； - **自适应训练方案**：根据不同阶段的学习需求灵活改变损失权重以及正则项强度等因素； - **多任务联合训练框架**：鼓励各个专精方向上的专家不仅要在单一目标任务上有出色表现，在辅助任务方面也需具备一定能力，以此增强泛化性和鲁棒性。 ```python def dynamic_gating_network(input_tensor, expert_weights): """ 动态调整门控网络示例 参数: input_tensor: 输入张量 expert_weights: 各位专家对应的权值向量 返回: selected_experts_indices: 被选中的几位专家索引列表 """ scores = tf.matmul(input_tensor, expert_weights) top_k_values, top_k_indices = tf.nn.top_k(scores, k=3) return top_k_indices.numpy().tolist() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我叫永强

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值