文本处理——语言模型

统计语言模型

Language modeling:

利用条件概率公式，S这个序列出现的概率等于每一个词出现的条件概率相乘。

$$P(S) = P(w_1, w_2, \ldots, w_{t-1},w_t) = P(w_1) P(w_2|w_1) P(w_3|w_1,w_2) \ldots P(w_t | w_1, w_2, \ldots w_{t-1}).$$

$$\mathbb{P}(w_1, w_2, \ldots, w_T) = \prod_{t=1}^T \mathbb{P}(w_t \mid w_1, \ldots, w_{t-1}) .$$

举个例子：

$$\mathbb{P}(w_1, w_2, w_3, w_4) = \mathbb{P}(w_1) \mathbb{P}(w_2 \mid w_1) \mathbb{P}(w_3 \mid w_1, w_2) \mathbb{P}(w_4 \mid w_1, w_2, w_3) .$$

$$\mathbb{P}(w_1) = num(w_1) / num(all)$$

$$\mathbb{P}(w_2 \mid w_1) = \mathbb{P}(w_1, w_2) / \mathbb{P}(w_1)$$

$$\mathbb{P}(w_3 \mid w_1, w_2) = \mathbb{P}(w_1, w_2, w_3) / \mathbb{P}(w_1, w_2)$$

$$...$$

问题：条件概率太多，无法估算。

N-gram

k-dependent Markov chain:

当序列长度增加时，计算和存储多个词共同出现的概率会指数增加。N 元语法通过马尔可夫假设（虽然并不一定成立）简化了语言模型的计算。马尔可夫假设是指一个词的出现至于前面 n 个词相关，即 n 阶马尔可夫假设。n 元语法（n-grams）。它是基于 n−1 阶马尔可夫链的概率语言模型：

$$\mathbb{P}(w_1, w_2, \ldots, w_T) \approx \prod_{t=1}^T \mathbb{P}(w_t \mid w_{t-(n-1)}, \ldots, w_{t-1}) .$$

常用：

unigram:P(w1,w2,w3,w4)=P(w1)P(w2)P(w3