关于deep feature、Tandem feature、bottleneck feature...

最新推荐文章于 2023-02-01 16:48:04 发布

cageyoko

最新推荐文章于 2023-02-01 16:48:04 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： feature

本文链接：https://blog.youkuaiyun.com/fukaiqi1010/article/details/89846179

feature 专栏收录该内容

1 篇文章

订阅专栏

博客主要解析了BN、deep feature与DBN-DNN的概念。指出BN特征属于深度特征，deep feature还可包括d - vector等，适用于语音和说话人识别；DNN训练类似DBN过程，加softmax输出会成DBN - DNN；还提及BN层概念出处及特征拼接概念出处。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

总是把这三个弄混...

今天算是明白这三个不是一个概念...

标黑的是每个特征的特性。

*************************************************

BN特征是属于深度特征，这一点无可非议。不过deep feature应该除了bottle neck之外还可以包括d-vector等等，这个概念在Google的2014年ICASSP《DEEP NEURAL NETWORKS FOR SMALL FOOTPRINT TEXT-DEPENDENT SPEAKER VERIFICATION》上有提到。

这些深度特征也都可以适用在语音识别、说话人识别。这样认为BN等同deep feature也算是可以的。而DNN训练确实是pre-training加一个fine-tune，而这个过程可以视为DBN的过程，当在最后一层隐含层后再加一层softmax输出，就会成为DBN-DNN。这个过程在Hinton 的论文里有详细的分析《Deep Neural Networks for Acoustic Modeling in Speech Recognition》。而BN通常都是在倒数第二层提取。

bottleneck应该最早源于1994年的《CONNECTIONIST SPEECH RECOGNITION A Hybrid Approach》，里面首先提出到BN层应该要同时比inputoutput结点数都要少的概念，而把多种特征拼接起来Tandem的概念可以在2000的ICASSP《TANDEM CONNECTIONIST FEATURE EXTRACTION FOR CONVENTIONAL HMM SYSTEMS》里找到。