22、跨语言风格转换与Lambani元音分析研究

跨语言风格转换与Lambani元音分析研究

跨语言风格转换研究

在跨语言说话人风格转换的研究中，目标是实现Kannada和Soliga这两种语法相近语言之间的跨语言说话人风格转换。研究强调了在深度神经网络中使用多尺度损失的重要性，这有助于将特定主题的风格融入到独立于身份的特征嵌入中。

1. 不同模型的损失对比
   | 模型 | D损失 | G损失 |
   | — | — | — |
   | 基线模型 | 0.326 | 32.097 |
   | 下采样模型 | 0.268 | 24.658 |
   | 上采样模型 | 0.266 | 26.616 |
   | 上下采样模型 | 0.257 | 27.236 |

从表中可以看出，与基线模型相比，其他模型在损失上都有所降低。生成器损失是使用Kannada - Soliga数据集计算得出的，提出的方法误差小于基线模型。在不同的损失函数实验中，下采样实验的生成器误差最小。这可能是因为上采样生成的梅尔频谱图时误差传播较高，误差会叠加到上采样的梅尔频谱图上，而下采样时误差会减小。

2. 特征嵌入可视化
   通过可视化源说话人和目标说话人特定的特征嵌入，发现源特征和风格转换后的特征在潜在空间中聚集在一起。在图中，“K”代表Kannada，“S”代表Soliga，“S - K”表示Soliga句子以Kannada说话人的语音风格呈现，“K - S”表示Kannada句子以Soliga说话人的语音风格呈现。对于高质量的风格转换，“S”和“K - S”的特征