概率语言模型 Probabilistic Language Modeling (一) --- 整体简介

1. Introduction

语言模型的目标就是compute the probability of a sentence or sequence of words:
数学公式很简单，给定一个包含$l$个词语$w_1,w_2,...,w_l$的句子$W$,其
$P(W)=P(w_1,w_2,…,w_l)$
$=p(w_1)p(w_2|w_1)p(w_3|w_1,w_2)...p(w_l|w_1,w_2,...,w_{l-1})$
若是计算上述公式中每个$p(w_l|w_1,w_2,...,w_{l-1})$，参数空间过大造成数据稀疏严重。一般采用马尔科夫假设(Markov Assumption)：下一个词的出现仅依赖于它前面的$k$个词，即
$p(w_i|w_1,w_2,...,w_{i-1})=p(w_i|w_{i-k},...,w_{i-1})$
若
-下一个词的出现只依赖它前面的一个词，即为Bigram model：
$p(w_i|w1_,w_2,...,w_{i-1})=p(w_i|w_{i-1})$；
-下一个词的出现依赖它前面的两个词，即为Trigram model：
$p(w_i|w1_,w_2,...,w_{i-1})=p(w_i|w_{i-2},w_{i-1})$

对于上述简化假设，我们称之为N元语言模型(n-Gram),一般来说，其计算公式为:
$P(W)=\prod^{l+1}_{i=1}p(w_i|w^{i-1}_{i-n+1})$
其中$w^{j}_{i}$表示词语序列$w_{i},...,w_{j}$

2. Estimating N-gram Probabilities

构造使用语言模型的第一步就是生成每个条件概率$p(w_i|w^{i-1}_{i-n+1})$, 通常使用最大似然估计(Maximum Likelihood Estimate)， 即
$p(w_i|w_{i-1}) = count(w_{i-1}, w_{i}) / count(w_{i-1})$
其中$count(w_{i−1},w_i)$为词组$w_{i−1},w_i$的出现频率。

3. Performance Evaluation

一般评价语言模型的性能采用迷惑度/困惑度/混乱度(perplexity)，计算公式为：
$PP(W ) =2^{H(W)}$
$H(W)=-\frac{1}{l}log_2P(W)$
其中l为句子W的长度，一般来说Lower perplexity = better model