AI数字人：基于VITS模型的中文语音生成训练

1 VITS模型介绍

        VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）是一种结合变分推理（variational inference）、标准化流（normalizing flows）和对抗训练的高表现力语音合成模型。

        VITS模型是韩国科学院在2021年6月提出的，VITS通过隐变量而非频谱串联起来语音合成中的声学模型和声码器，在隐变量上进行随机建模并利用随机时长预测器，提高了合成语音的多样性，输入同样的文本，能够合成不同声调和韵律的语音。

        论文地址：VITS论文

2 VITS模型结构

2.1 总体结构

• 先验编码器：TextEncoder由多层的transformer encoder组成，预测的结果输出均值与方差。

• 后验编码器：由conv1d+WN网络组成+conv1d组成。输出得到均值与方差，并且使用FLOW得到复杂分布z_p。通过flow后的复杂分布z_