统计自然语言处理基础学习笔记(3)——统计推理

统计自然语言处理的目的就是针对自然语言领域进行统计推理。统计推理就是在统计概率的基础上进行预测，包括：1、数据处理，从而获得未知的概率分布；2、根据这些数据概率分布得到一些推论，并用于将来的预测。为了进一步分析统计推理，我们将该问题分析三个步骤进行阐述：1、将训练数据划分为等价类；2、为每一个等价类寻找一个好的统计估计；3、合并多个估计。

一、为了能够将训练数据划分为等价类，我们首先需要构造等价类。为了实现构造类，我们从下面三部分来阐述。         

1、可靠性和辨别性：

为了对一个特征进行推导，我们希望找到模型中可以预测它的其他特征。如果模型大体稳定，我们即可以根据过去的行为很好的预测将来要发生的事情。而我们分类的任务为：试图基于各种类别特征预测目标特征。通过分类，即把数据有效地划分到具有不同类别特征地等价类别中去，最终可以在新的数据中使用这些等价类预测目标特征，可以有效的划分新的数据。在应用等价类别时，我们假设每一个类别特征中的数据与其他特征无关或者是与其他特征有较弱的相关性，总之特征间是独立的，从而可以忽略独立假设的负面影响。那么如何确定等价类的数量呢？因为如果使用了太多的等价类，即把数据划分过于仔细，可以使我们有更好的辨别性。但同时，每个等价类别不包含或者包含较少的训练数据，导致无法对对该类别的目标特征做出可信的统计估计。因此权衡之后，必须要找到一个合适的等价类数量。

2、n元语法模型：

不管使应用与分类还是标注，单词预测任务可以采用概率方程P来进行估计：P(Wn|W1,...,Wn-1)。

   &nb