自然语言处理 - 二元语法与中文分词

二元语法与中文分词

之前的一篇文章里(自然语言处理 - 分词初窥)中我们介绍并实现了基于词典的最大匹配分词方法。这种方法简单直观，且词典扩充很方便。但词典分词难以消除歧义，给定两种分词结果“商品 和服 务”以及“商品 和 服务”，词典分词不知道哪种更加合理。

但对于人类来说，我们平时接触的都是第二种分词方案，所以我们知道第二种更加合理，因此可以判定第二种是正确地选择。这就是利用了统计自然语言处理。统计自然语言处理的核心话题之一，就是如何利用统计手法对语言建模，

语言模型

模型指的是对事物的数学抽象，那么语言模型指的就是对语言现象的数学抽象。形式化上讲，给定一个句子，语言模型就是计算句子的出现概率 的模型，而统计的对象就是人工标注而成的语料库。

举个例子，对于下面的小型语料库：

商品 和 服务
商品 和服 物美价廉
服务 和 货币

每个句子出现的概率都是 1/3，这就是语言模型。然而 的计算非常难：句子数量无穷无尽，无法枚举。即便是大型语料库，也只能“枚举”有限的句子。实际遇到的句子大部分都在语料库之外，意味着它们的概率都被当作 0，这种现象被称为数据稀疏。

考虑到很多句子复用相同的词语，如果把句子看成词语列表 ，其中