2019 Interspeech CycleGAN-based Emotion Style Transfer as Data Augmentation for SER

wangdapang_2

于 2020-02-04 21:10:38 发布

阅读量621

点赞数 1

分类专栏：读顶会

本文链接：https://blog.youkuaiyun.com/qq_38221026/article/details/104165649

版权

本文探讨了如何运用CycleGAN解决语音情感识别中的数据稀缺问题，通过迁移无标签语音数据的特征，生成合成的、具有可区分性的特征向量。实验表明，生成的数据可以直接用于训练数据的增强或作为独立训练集，且在同源和跨源评估中均取得良好效果，提升情感分类性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

利用：Cycle consistent adversarial networks (CycleGAN)
目的：addressing the data scarcity problem in speech emotion recognition
（1）在 CycleGAN的基础上从大型的unlabeled 语音数据库迁移特征到合成的特征表示。
（2）扩展了 CycleGAN：用分类loss which improves the discriminability of the generated data

实验
生成的数据有两种使用方法：
（1）直接augmentation到训练数据中
（2）作为独立的training set
结果在within-corpus and cross-corpus均表现很好

Introduction就介绍了全文的目的。生成目标类别的数据，使得总体数据的比例是可控制的。同时在总量上也扩充，得到一个a large and balanced synthetic dataset.
第二，三段介绍了GAN在speech方面的应用。

贡献
（1）合成的是feature vectors
（2）基于cycle GAN既保证了(1)的相似性又保证了可区分性。
（3）基于真实数据和合成数据的NN分类器表现优于传统的只用real data的。

method
有标签的数据库X
N类情感
a source domain S ：外部的无标签dataset
Ti ： samples of emotion i in the labeled dataset X.
两个mapping functions： $G_i$ translate from source到target, $F_i$

最低0.47元/天解锁文章