6、稀疏数据上的n-gram统计推断模型

稀疏数据上的n-gram统计推断模型

统计自然语言处理与语言建模任务

统计自然语言处理旨在对自然语言领域进行统计推断。统计推断通常是获取一些按照未知概率分布生成的数据，然后对该分布进行推断。例如，我们可以观察语料库中大量介词短语附着的实例，并用它们来尝试预测一般英语中介词短语的附着情况。

语言建模是统计估计的一个经典任务，其问题是根据前面的单词预测下一个单词。这个任务对于语音识别、光学字符识别至关重要，也用于拼写校正、手写识别和统计机器翻译等。该任务常被称为香农游戏，许多估计方法最初就是为这个任务开发的，不过这些方法并非特定于该任务，还可直接用于词义消歧或概率句法分析等任务。

形成等价类：分箱

可靠性与区分度

为了对一个特征进行推断，我们通常希望找到模型中能预测该特征的其他特征。这里我们假设过去的行为是未来情况的良好指南，即模型大致是平稳的。这就产生了一个分类任务：我们试图根据各种分类特征来预测目标特征。在这个过程中，我们实际上将数据划分为具有某些分类特征相同值的等价类，并利用这些等价类来帮助预测新数据上目标特征的值。这意味着我们默认做出了独立性假设：数据要么不依赖于其他特征，要么依赖程度非常小，我们希望忽略它不会造成太大影响。

我们识别的相关分类特征越多，就越有可能精确地剖析出决定目标特征未知概率分布的条件。也就是说，将数据划分为多个箱可以提高区分度。然而，问题在于，如果我们使用大量的箱，某个箱可能包含很少或没有训练实例，那么我们就无法对该箱的目标特征进行统计上可靠的估计。因此，找到在这两个标准之间取得良好折中的等价类是我们的首要目标。

n-gram模型

预测下一个单