29、大规模模式识别任务中的分层分类器应用

大规模模式识别任务中的分层分类器应用

1. 引言

在大规模词汇连续语音识别（LVCSR）中，我们通常会面对数千个基本声学单元和由数百万个预处理语音模式组成的训练数据库。对于此类任务和数据集，在选择学习机器和训练算法方面，相关的公开资料相对有限。本文聚焦于这类学习任务，提出了一种解决大规模分类问题的原则性方法，并以连接主义语音识别问题为例进行了说明。该方法基于强大的分治范式，将分类任务模块化的分层方法在应用统计估计器（如人工神经网络）时至关重要。

2. 分层分类

在将模式 $x$ 分类到 $N$ 个类别 $\omega_k$ 之一的任务中，根据贝叶斯理论，若已知类条件概率密度 $p(x|\omega_k)$，最优决策应基于后验概率：
[p(\omega_k|x) = \frac{p(x|\omega_k)p(\omega_k)}{\sum_{i} p(x|\omega_i)p(\omega_i)}]
当所有可能的错误分类风险相等时，最优决策是选择给定特定模式 $x$ 下后验概率最大的类别。在将贝叶斯理论应用于分布通常未知的示例学习任务时，有两种不同的方法：
- 方法一 ：从标记数据集中估计类条件似然 $p(x|\omega_k)$ 和先验概率 $p(\omega_k)$，然后根据贝叶斯规则计算后验概率。原则上，该方法可应用于任意数量类别的任务，因为类条件似然可以独立估计。但此方法侧重于类条件密度的建模，而对于分类准确性而言，更重要的是对类边界进行建模。
- 方法二 ：直接从数据集中估计后验类概率。研究表明，一大类人工神经网络（如多层感知器和递归神经网络）可以被训练