置换性不变训练（PIT）单通道语音分离（SS）入门

最新推荐文章于 2024-07-29 11:43:59 发布

dakenan1

最新推荐文章于 2024-07-29 11:43:59 发布

阅读量4.3k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：语音增强文章标签： PIT 语音分离深度学习

本文链接：https://blog.youkuaiyun.com/dakenan1/article/details/99994845

本文介绍了置换性不变训练（PIT）在解决单通道语音分离（SS）任务中的核心作用，强调了PIT如何通过最小化分离误差来处理标签排列问题。内容涵盖基于类的方法的局限性，PIT技术解决标签模糊问题的策略，以及实验结果显示PIT在训练和测试阶段的优势，如快速收敛、简单结构和良好的分离性能。此外，讨论了输出窗口大小对分离性能的影响，指出选择性分配和声源追踪的重要性，以及PIT在处理不同声源和语言时的泛化能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

核心工作：提出一种通过最小化分离误差解决标签排列问题的排列不变训练技术。
在这里插入图片描述
基于类的方法：
1. 通过预测所属目标类的源来进行网络优化，通常用于每个时频块；
2. 只能用于语音与背景噪声或音乐的分离，因为语音具有与噪声/音乐非常不同的特征；很难与其他技术结合。
针对标签模糊问题解决核心：（参考Fig.1）
1. PIT
2. 基于分段的决策
实验结果（T1）：
在这里插入图片描述
1. 训练阶段，MSE验证不会因为标签排列问题降低；相反使用PIT还可以使训练快速收敛到两、三声源的MSE
2. 测试阶段，默认分配没有声源追踪的PIT能够得到相近甚至更好的效果，与DPCL、DNN、CNN等比较，且结构更简单
3. 减少输出窗口大小时，可以提高窗口内的分离性能，并且进行选择性分配时得到更好的SDR
4. 减少输出窗口时，也会出现默认分配情况下效果更差的情况，因此说明选择性分配或者声源追踪很重要
5. PIT在开闭集中对未知的声源都有很好的效果
6. CNN因强大的模型效果始终优于DNN，但在输出窗口较小时效果变差
实验结果（T2）：
在这里插入图片描述
PIT学习的分离能力不仅可以在说话者之间进行，而且可以跨语言进行