6、稀疏数据上的n-gram统计推断模型

稀疏数据上的n-gram统计推断模型

1. 统计自然语言处理与语言建模

统计自然语言处理旨在对自然语言领域进行统计推断。一般来说，统计推断是指获取一些按照未知概率分布生成的数据，然后对这个分布进行推断。例如，我们可以查看语料库中大量介词短语附着的实例，并用它们来尝试预测一般英语中介词短语的附着情况。

语言建模是统计估计的一个经典任务，其目标是根据前面的单词预测下一个单词。这个任务在语音识别、光学字符识别等领域至关重要，也用于拼写校正、手写识别和统计机器翻译。这个任务常被称为香农游戏。虽然很多估计方法最初是为这个任务开发的，但这些方法并非特定于该任务，还可直接用于词义消歧或概率句法分析等任务。

2. 形成等价类：分箱

2.1 可靠性与区分度

为了对一个特征进行推断，我们通常希望找到模型中能预测它的其他特征。这里假设过去的行为是未来情况的良好指南，即模型大致是平稳的。这就产生了一个分类任务：我们尝试根据各种分类特征来预测目标特征。在这个过程中，我们实际上将数据划分为等价类，这些等价类在某些分类特征上具有相同的值，并利用这些等价类来帮助预测新数据上目标特征的值。这意味着我们默认做出了独立性假设：数据要么不依赖于其他特征，要么这种依赖关系非常小，我们希望忽略它不会造成太大影响。我们识别的相关分类特征越多，就越有可能细致地剖析出决定目标特征未知概率分布的条件。也就是说，将数据划分为多个箱可以提高区分度。然而，问题在于，如果使用过多的箱，某个箱可能包含很少或没有训练实例，那么我们就无法对该箱的目标特征进行统计可靠的估计。因此，找到在这两个标准之间取得良好折中的等价类是我们的首要目标。

2.2 n - gram模型