语音合成（TTS)论文优选：An Efficient Subband Linear Prediction for LPCNet-based Neural Synthesis

声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

An Efficient Subband Linear Prediction for LPCNet-based Neural Synthesis

本文章是微软中国在interspeech2020发表的文章，主要使用multiband技术来优化lpcnet，使该声码器的速度和合成音质都得到提高。具体的文章链接

https://indico2.conference4me.psnc.pl/event/35/contributions/3023/attachments/694/732/Thu-1-1-6.pdf

1 研究背景

神经网络技术的发展促使语音合成的质的飞越，尤其是神经网络声码器的提出，比如典型的神经网络声码器wavenet,wavernn,waveglow等等。虽然这些声码器可以产生高质量的音频，但较高的复杂度使该声码器不容易落地。为了加速声码器的推理速度，很多优化方法被提出，比如稀疏化，multi-samples, multiband等等。其中multiband已经被很多文章研究，比如subband wavenet, subband FFTnet ,subband wavernn, featherwave和multiband melgan等等。以上的声码器都是假设被分的subband之间互不影响，因此可以同时进行subband的推理。而本文提出subband之间存在相互作用关系，因此提出了相互作用的multiband自回归模型，使lpcnet的合成质量和推理速度都得到提高。

2 详细系统设计

首先看一下自回归的模型公式如公式1所示，其中h为声学特征。而multiband的计算公式为公式2，两者的区别为每次推理4个点（分4个子带）。

现有的multiband系统使用公式2，认为每个子代之间都是独立，但DSP技术提出每个subband之间存在很强的联系，因此本文提出了如下的多带联合分布公式

可能公式看起来很繁琐，可以看一下图1所示，fullband被分为4个子带，图中的点代表每一个采样点，箭头代表关联，则进行采样点的时候，绿色点可以同时进行计算，因此达到多采样点的目的，这样设计是否很酷。

现在，讲一下信号处理的两个阶段：分析阶段和合成阶段。分析阶段对fullband进行子代划分，然后求取第一个子代的lsp和激励e。合成阶段就是把声学特征经过声码器合成每个子带的采样点，然后进行整合成最终的时域波形。其中第一个子代的采样点计算公式为公式6。

最后，我们看一下lpcnet声码器的设计图3。声码器主要分为frame rate network和sample rate network。与原来的lpcnet不同的地方为最后存在三个fc层，分别与sample rate network中的gru相对应。其中grua被四个子代共享，grub为第一个子代使用，gruc为其它三个子代共享。然后。第一子带推理激励后使用公式（6）计算出采样点，其它子带推理出采样点。系统的损失函数如公式7所示。

3 实验

本文的实验很直接简单：复杂度和mos测试。本文计算的复杂度为： wavernn 10GFLOPS, wavenet 100 GFLOPS, fullband LPCNET 3.5GFLOPS ，本文提出的LPCNET 为1.2GFLOPS，几乎速度提高三倍。MOS测试方面，subband LPCNET(w/)为本文方案，subband LPCNET(w/o)为子带之间互不关联，由table 2可知，本文提出的方案MOS最高。

4 总结

本文分析mulitband的子带之间存在关联，并提出相应的优化模型，使subband lpcnet的合成质量更高。