语音合成（TTS)论文优选：DenoiSpeech: Denoising Text to Speech with Frame-Level Noise Modeling

最新推荐文章于 2025-10-28 20:41:02 发布
原创 最新推荐文章于 2025-10-28 20:41:02 发布 · 461 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语音识别 #人工智能 #深度学习 #机器学习 #tts

浙江大学和亚洲微软合作的DenoiSpeech论文提出了一种针对少量带噪数据的高质量语音合成方法。通过帧级噪声建模，该系统能在不损害语音信号的情况下，有效利用噪声数据进行合成。实验表明，DenoiSpeech在去除噪声方面优于现有方案，适用于数据量有限的个性化定制场景。

声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

DenoiSpeech: Denoising Text to Speech with Frame-Level Noise Modeling

本篇文章是浙江大学，亚洲微软在2020.12.18更新的文章，主要做少数据量带噪数据进行高质量合成的研究，本文主要思想是对帧级别的噪声进行学习，学习粒度更小，结果更好，具体的文章链接

https://arxiv.org/pdf/2012.09547.pdf （这种的研究最主要的应用还是20多句话的个性化定制）

1 背景

虽然现在的语音合成系统可以合成高质量的音频，但对训练的数据质量有极高的要求和较高的成本，因此使用大量的带噪数据进行语音合成引起产业界和工业界的关注，尤其是手机录制20句话的个性化定制。目前，对于带噪数据的训练主要包含两种方案：1）使用去噪算法进行去噪，这种方法也会造成语音信号的损伤；2）添加noise embedding来标注noise类型，但该种方法是句子级别。本文提出了帧级别的noise标注，使用带噪数据能够获取较干净的语音合成。

2 详细设计

 本文提出的系统为DenoiSpeech，如图1的（a)所示。首先，音素先输入到phoneme encoder中，然后输入到length regulator,该模块把音素级别特征扩展到帧级别。接下来，输出的特征进行noise 提取，具体的结构如（b)（c)(d)所示，为了更好获取noise表征，添加了aversarial CTC模块。最后进行mel特征的生成。该算法的训练和推理的流程如算法1所示，训练的时候先训练noise模块，然后再和TTS联合训

最低0.47元/天 解锁文章
2017-Aggregating Frame-level Features for Large-Scale Video classification聚合帧级功能以进行大规模视频分类
qq_41956697的博客
03-01 688
intro: Youtube-8M Challenge, 4th place arxiv: https://arxiv.org/abs/1707.00803 贡献： 1.根据信息最丰富的内容出现在视频中间，提出了RNN变体-双向RNN。3.1.1 2.提出的VLAD聚合方法与RNN相比计算成本较低。3.1.2 3.证明了融合多个模型总是有帮助的。 摘要 本文介绍了我们为Google Cloud和YouTube-8M视频理解挑战赛开发的系统，可以将其视为在大规模YouTube-8M数据集[1]之上定义的多标签
语音合成（speech synthesis）方向二：鲁棒TTS（Robust TTS)
低调奋进
11-27 1082
声明：工作以来主要从事TTS工作，工程算法都有涉及，平时看些文章做些笔记。文章中难免存在错误的地方，还望大家海涵。平时搜集一些资料，方便查阅学习：TTS 论文列表http://yqli.tech/page/tts_pape.html TTS 开源数据 http://yqli.tech/page/data.html。如转载，请标明出处：微信公众号，头条号: 低调奋进1 介绍 现有的TTS无论是single speaker model 或者multi-speaker model都需要大量高质量<text.
Denoispeech: Denoising text to speech with frame-level noise modeling
林宋的搬砖流水账
02-17 314
作者：Chen Zhang， Xu Tan 会议：2021 icassp 单位：微软 文章目录abstractintroductionmethod abstract TTS的训练数据通常是高质量的干净语音，但是有时候目标说话人只有真实场景的带噪数据，如何生成干净的TTS语音？ 方法：（1）降噪后的语音用于训练TTS模型；（2）noisy speech和clean speech混合训练，加入一个额外的noise embedding。(infer的时候用clean speech embedding，但是使用的
DiffGAN-TTS: High-Fidelity and Efficient Text-to-Speech with Denoising Diffusion GANs
林宋的搬砖流水账
04-20 867
使用降噪diffusion模型完成TTS任务，引入GAN训练进一步增强生成质量。只需要4步就可以生成高质量语音，方法分为两个阶段 ：（1）训练一个TTS声学模型提供先验知识，（2）训练DDPM。也可以进通过一步denoising生成语音。
**标题：Deno：现代编程中的发散创新力量**在现代编程领域中，Deno以其独特的特性和强大的功能，正逐渐成为开发
最新发布
zhengfei_1122的博客
10-28 18
让我们一起用创新的力量推动编程技术的进步！让我们一起用创新的力量推动未来的科技发展！让我们一起用创新的力量创造更美好的未来！让我们一起发散创新！Deno是一个由高效的标准库和健壮的API组成的现代运行时环境，旨在提供更安全、更简洁、更高效的编程体验。与传统的Node.js相比，Deno更加注重安全性和易用性，为开发者带来了全新的编程体验。在现代编程领域中，Deno以其独特的特性和强大的功能，正逐渐成为开发者们的首选工具之一。：Deno通过内置的安全策略，确保代码在隔离的环境中运行，降低了遭受攻击的风险。
语音算法论文中frame-level，segment-level，utterance-level fearure
qq_35576225的博客
10-27 3335
语音是非平稳信号，通过分帧可以认为每帧信号近似为平稳信号，然后就可以在一帧上提取特征。这种就叫做帧级别特征。segmental level的特征应该是指多帧特征，比如音素特征就是segmental level的，而utterance level的就是指一句话上的特征，就有很多帧，例如说话人的特征就是utterance level的。 ...
DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection论文笔记
Zssss12的博客
10-07 1922
我们提出了DINO (DETR with improved deNoising anchOr box)，这是一种最先进的端到端对象检测器。DINO通过使用对比方法进行去噪训练、使用混合query选择方法进行anchor初始化，和两次前向的box预测方案，提高了以前类似DETR的模型性能和效率。DINO在COCO上使用ResNet-50骨干网和多尺度特征在12个epoch后达到了49.4AP在24个epoch达到了51.3AP，比之前的最佳类DETR模型DN-DETR分别提高了+6.0AP和+2.7AP。
论文阅读：BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation,
Hero19980512的博客
04-28 1376
论文阅读：BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 来源：ACL 2020 下载地址：https://aclanthology.org/2020.acl-main.703.pdf Abstract 我们提出了 BART，一种用于预训练序列到序列模型的去噪自动编码器。 BART 通过以下方式进行训练：(1) 使用任意噪声函数破
Paper小计：BART: Denoising Sequence-to-Sequence Pre-training for NaturalLanguage Generation, Translati
huihuixiaoxue的博客
04-29 876
Abstract 我们提出了BART，一个去噪的自动编码器。BART通过（1）用任意噪声函数破坏文本进行训练，（2）学习一个模型来重建原始文本。它使用了一个标准的基于转换器的神经机器翻译架构，尽管它很简单，但可以看作是推广BERT（由于双向编码器）、GPT（带有从左到右的解码器）和许多其他更新的预训练方案。我们评估了许多噪声方法，通过随机打乱原始句子的顺序和使用一种新的填充方案来找到最佳性能，其中文本的跨度被替换为一个掩码标记。BART在微调文本生成时特别有效，但对理解任务也很有效。 它将RoBERTa的
DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection
weixin_45358930的博客
06-23 1064
摘要：本文提出DINO（基于改进去噪锚框的DETR模型），一种新型端到端目标检测器。该模型融合了DN-DETR、DAB-DETR和Deformable DETR的优势，通过以下创新实现性能突破：(1) 引入对比式去噪训练，混合正负样本优化匹配；(2) 采用动态锚框机制，将编码器输出作为位置查询；(3) 提出"前瞻两次"参数更新策略，实现跨层梯度协同优化。实验表明，DINO在COCO数据集上达到63.3 AP的最新记录，展现出卓越的扩展性能。
音频前后端算法-语音识别-语音合成
king_audio_video的博客
02-01 4218
欢迎大家加入音频/识别/合成算法群（696554058）交流学习，谢谢！ 2019年与志同道合的兄弟们在语音、音频领域干点实在的，有愿意的准备好上车。 目前有开往三个方向的车，请根据实际情况选择上下车： 1. 音频前后端处理算法（包括但不限于3A，均衡，麦克风阵列，混响，断点检测等） 2. 语音识别（包括但不限于声纹，情感，年龄，性别，评测等） 3. 语音合成（包括但不限于合成，变声，转换等） ...
Grad-TTS: A Diffusion Probabilistic Model for Text-to-Speech
林宋的搬砖流水账
07-14 2072
文章目录abstractintroduction 单位：华为诺亚俄罗斯莫斯科实验室 作者：Vadim Popo Ivan Vovk 会议：2021 ICML 备注：没看完，感觉距离实用比较远就没有仔细研究了 abstract denoising diffusion probabilistic （DPM)model：一种从噪音中剥离出图像/音频的模型 introduction 现有的tacotron类似的结构生成语音质量很好，但是推理速度慢，且有发音错误； Glow-TTS使用transformer-Enc
行为识别阅读笔记(paper + parted code)：Beyond Frame-level CNN Saliency-Aware 3-D CNN with LSTM for Video Acti
AUTO1993的博客
10-23 2792
行为识别阅读笔记(paper+ parted code)：Beyond Frame-level CNN Saliency-Aware 3-DCNN with LSTM for Video Action Recognition 这篇文章是发篇在IEEESignal Processing2016上的一篇文章，算是比较久的文章。文章使用的网络结构是C3D+LSTM，没啥创新之处，个人觉得文章的创新点主
Deno 入门指南（一）
龙哥盟
08-14 1381
在过去的 10 年里，当后端开发人员听到“后端的 JavaScript”这个词时，所有人都会立即想到 Node.js。在这 10 年的开始，也许不会马上出现，但最终它的名字为每个人所知，成为另一种基于 JavaScript 的可用后端技术。凭借其现成的异步 I/O 功能(因为虽然其他技术也支持这一功能，但 Node 是第一个将它作为核心机制的技术)，它为自己划分了一部分市场。
Deno 快速入门
专注于大数据方向，区块链，前后端，数据可视化，人工智能等领域
10-20 2149
Deno 是一个JavaScript、TypeScript和WebAssembly运行时，具有安全的 默认值和出色的开发人员体验。它是基于V8引擎、 Rust和tokio。Deno是一款免费的开源软件，基于MIT许可证。
Deno入门：Node.js的现代替代品
天涯学馆
06-03 2576
fetch(url)异步地发起HTTP GET请求到指定的URL。response.ok检查HTTP状态码是否在200-299之间，表示请求成功。response.text()获取响应体的文本内容。parseJson(text)将文本内容解析为JSON对象。console.log(data)打印解析后的数据。// 在其他文件中导入// 输出 5。
Deno 入门指南（二）
龙哥盟
08-14 631
作为我在第四章中提到的使用标签的替代方法，你也可以使用分支名称作为你的版本号，由于这个有用的重定向，这也可能对你有利。这些是语言本身的一部分。最后，构建聊天服务器通常需要处理套接字，因为它们允许您打开一个双向连接，该连接在关闭之前一直保持打开状态，这与普通的 HTTP 连接不同，普通的 HTTP 连接只存在很短的一段时间，并且实际上只允许在客户机和服务器之间发送单个请求及其相应的响应。最好的部分是，如果你需要，你也可以写你自己的原始查询，当然，这将打破 ORM 模式，但它也给你最复杂的用例所需的灵活性。
Deno 运行时入门教程：Node.js 的替代品
Cool的博客
05-20 1375
这几天假期，我学习了一下Deno。它是 Node.js 的替代品。有了它，将来可能就不需要 Node.js 了。 这篇文章就是 Deno 的一个初步介绍，尝试回答为什么 Node.js 不能满足需要，以及 Deno 能够带给我们什么？ 以下内容主要基于Bert Belder和Ryan Dahl的最新演讲。 0、 进入主题之前，先说一下 Deno 这个词怎么发音。 两种发音，"德诺"和"蒂诺"，我都听到过。看起来，"蒂诺"这个发音应该更合适一些，因为 Deno 的标志是一只恐龙。恐龙（...
Deno初体验
Moon Star
05-15 606
Deno是什么 Deno 是一个简单、现代、安全的JavaScript、TypeScript、Webassembly运行时环境。 Deno 是 Node 的变位词，其发音是恐龙（dinosaur）的缩写读音"蒂诺"。 它是建立在： Rust（Deno 的底层是用 Rust 开发，而 Node 是用 C++） Tokio（Deno 的事件机制是基于 Tokio，而 Node 是基于 libuv） TypeScript V8 Node的缺陷 原生API缺少Promise Node ...
Lgdn: Language-guided denoising network for video-language modeling
10-21
语言引导去噪网络（Lgdn）用于视频语言建模，是一种将语言信息融入视频处理以提升视频语言建模效果的技术。在视频语言建模任务中，需要处理视频中的视觉信息和与之相关的语言描述信息，而Lgdn通过利用语言信息来引导去噪过程，帮助模型更好地理解视频内容与语言之间的关联。 具体而言，Lgdn可能通过以下方式工作：首先，语言信息被编码成特定的特征表示，这些特征可以反映语言的语义和上下文信息。然后，在视频处理阶段，这些语言特征会被引入到去噪网络中，指导网络去除视频中的噪声，同时保留与语言描述相关的关键视觉信息。这样，模型可以更准确地学习视频和语言之间的对齐关系，从而提高视频语言建模的性能，例如在视频字幕生成、视频问答等任务中表现更优。 ```python # 以下是一个简单的伪代码示例，展示Lgdn可能的工作流程 import torch import torch.nn as nn # 假设这是一个简单的语言编码器 class LanguageEncoder(nn.Module): def __init__(self, input_dim, hidden_dim): super(LanguageEncoder, self).__init__() self.fc = nn.Linear(input_dim, hidden_dim) def forward(self, language_input): return self.fc(language_input) # 假设这是一个简单的视频去噪网络 class VideoDenoisingNetwork(nn.Module): def __init__(self, video_input_dim, language_hidden_dim, output_dim): super(VideoDenoisingNetwork, self).__init__() self.fc1 = nn.Linear(video_input_dim + language_hidden_dim, output_dim) def forward(self, video_input, language_features): combined_input = torch.cat((video_input, language_features), dim=1) return self.fc1(combined_input) # 实例化模型 language_encoder = LanguageEncoder(input_dim=100, hidden_dim=50) video_denoiser = VideoDenoisingNetwork(video_input_dim=200, language_hidden_dim=50, output_dim=200) # 模拟输入 language_input = torch.randn(1, 100) video_input = torch.randn(1, 200) # 编码语言信息 language_features = language_encoder(language_input) # 进行视频去噪 denoised_video = video_denoiser(video_input, language_features) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我叫永强

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值