29、多语言代码切换语音中的语言分割研究

多语言代码切换语音中的语言分割研究

在多语言交流场景中，代码切换语音的语言分割是一项具有挑战性的任务。本文将介绍三种用于端到端语言分割（LD）的架构，并通过实验对比它们在不同任务上的性能。

1. 模型介绍

为了实现端到端的语言分割，我们考虑了三种架构：
- BiLSTM ：最初用于说话人分割，在语言分割任务中也表现出色。它通过两个阶段的双向长短期记忆网络（BiLSTM）生成语言表示，并估计语言标签序列。损失函数结合了帧级交叉熵损失（CE）和深度聚类损失（DC），以鼓励模型学习语言判别特征。

L = αLCE(yt, ˆyt) + (1 −α)LDC(yt, et)

其中， α 是正则化参数， LCE 是交叉熵损失， LDC 是深度聚类损失。我们使用与之前应用相同的架构超参数， H 、 N 、 M 和 α 分别设置为 256、2、3 和 0.5。
- X-vector Self-Attention（XSA） ：另一种端到端架构，通过提取 x-向量并经过自注意力模块进行语言分割。损失函数结合了变压器网络输出和 x-向量提取器输出的交叉熵损失，以鼓励 x-向量提取器学习段级语言信息。

L = α