17、文本分类中特征分析与spLSA方法的应用

文本分类中特征分析与spLSA方法的应用

1. 瓶颈特征的语音信息与判别能力

1.1 特征对比分析

在语音识别等领域，不同特征的性能表现各有差异。这里主要对比了BN（瓶颈特征）和fMLLR两种特征。通过对不同组件数量下的对称不确定性进行分析，结果如下表所示：
| 特征 | 4 组件 | 8 组件 | 16 组件 | 32 组件 | 64 组件 |
| — | — | — | — | — | — |
| BN | 0.9632 | 0.9641 | 0.9642 | 0.9640 | 0.9631 |
| fMLLR | 0.9525 | 0.9586 | 0.9584 | 0.9585 | 0.9572 |

从表中数据可以看出，BN特征在不同组件数量下的对称不确定性普遍高于fMLLR特征。这表明BN特征具有更强的判别能力，其原因在于BN特征包含更高的语音信息和熵值。

1.2 熵与特征性能评估

计算熵是一种评估特征性能的简便方法。由于信息增益（IG）与特征的不确定性密切相关，而熵可以很好地衡量这种不确定性。通过计算熵，我们可以避免进行整个识别过程，无需寻找最优的网络配置，就能对特征的性能进行评估。

1.3 组件数量与特征复杂度

实验发现，对于4组件的高斯混合模型（GMMs），能够获得最佳的识别率（IR）。这意味着BN特征相比fMLLR特征，需要更少的组件就能充分表达其复杂度。这一结果对于优化特征模型具有重要意义，在实际应用中可以减少计算资源的消耗。

2. 文本分类中的spLSA方法

2.1 文本分类背景与相