NLP | 自然语言处理 - 语言模型（Language Modeling）

为什么需要语言模型？

想象“语音识别”这样的场景，机器通过一定的算法将语音转换为文字，显然这个过程是及其容易出错的。例如，用户发音“Recognize Speech”，机器可能会正确地识别文字为“Recognize speech”，但是也可以不小心错误地识别为“Wrench a nice beach"。简单地从词法上进行分析，我们无法得到正确的识别，但是计算机也不懂语法，那么我们应该如果处理这个问题呢？一个简单易行的方法就是用统计学方法（马尔可夫链）从概率上来判断各个识别的正确可能性。

什么是语言模型？

首先，我们定义一个有限的字典V。V = {the, a, man, telescope ... }，通过字典间有限或者无限次笛卡儿积，我们可以得到一个无限的字符串组合S，S可能包含：

1，the

2，a

3，the man

4，the man walks

...

其次，假设我们有一个训练数据集，数据集中包含了许多文章。通过统计数据集中出现的句子、其出现次数c(x)以及数据集句子总数N，我们可以计算出每个句子的出现频率。令x ∈ S，p(x) = c(x)/N表示x的出现频率，显然Σp(x) = 1。

综上所述，我们可以发现几个问题：

1）上述的语言模型只是理论上存在的，当训练数据集无限大的时候，数据集中的频率可以无限接近语法中实际的概率；

2）对于S中的大部分句子，p(x)应当等于0，因此S是一个非常稀疏的数据集，很难存储。

马尔可夫链

既然上面这个简单的语言模型不太完美，我们自然需要寻找其他的方法来获得语言模型，其中一个比较著名的算法就是马尔可夫链。假如考虑一个长度为n的句子可以利用一串随机变量来表示，即x1, x2, ... xn，其中xk ∈ V。那么，我们的目标是求p(X1 = x1, X2 = x2