N-Grams

给一系列的词语计算概率的模型叫做语言模型(Language Models)，其中，n-gram是最简单的一种。一个n-gram就是一个长度为N的词语组成的序列：

• N=2，则是2-gram(bigram)
• N=3，则是3-gram(trigram)

一个简单的例子

有一个任务，要计算$$P(w|h)$$，即给定历史$$h$$计算$$w$$的概率。假设$$h=itswaterissotransparentthat$$，我们要计算下一个词the的概率，即：

$$P(the|itswaterissotransparentthat)$$

一个可行的方式是：在一个很大的语料库中，统计$$itswaterissotransparentthat$$出现的次数，然后统计$$itswaterissotransparentthatthe$$的次数，后者除以前者，即：

$$P(the|itswaterissotransparentthat)=\frac{C(itswaterissotransparentthatthe)}{C(itswaterissotransparentthat)}$$

这种方式在很多情况下可行。但是某些情况下仍然会有以下问题：

• 有些词语在预料中出现次数为0。

相似的问题还出现在：如果我们想知道整个序列的联合概率，例如$$P(itswaterissotransparent)$$，那我们就可以将问题转化为：“在所有5个词语的序列中，its water is so transparent出现了几次？”

为了解决这个问题，我们需要更好地方式来估计$$w$$基于$$h$$的概率，或者整个序列的概率。

我们把一个长度为N的序列表示为$$w_1,w_2,\dots$$