kenlm语言模型介绍

语言模型

计算$P\left(w_1,w_2,\dots ,w_n\right)$

利用链式法则：$P(A,B,C)=P(A)P(B|A)P(C|A,B)$

$P\left(w_1,w_2,\dots ,w_n\right)=P\left(w_1\right)P\left(w_2|w_1\right)\dots P\left(w_n|w_1,\dots ,w_{n-1}\right)$

常用的N-gram训练工具有SRILM、IRSTLM、BerkeleyLM和KenLM等。

kenlm语言模型介绍

kenlm是一个C++编写的语言模型工具，具有速度快、占用内存小的特点，也提供了Python接口。

步骤：

（1）增加< s>和< /s >标记符，表示句子的开头和结尾

（2）把每个词映射到唯一的数字id

（3）Counting（原始计数）。也就是把相同的字合并，然后排序

（4）Adjusting（调整计数）。其基本思想是对于那些lower-gram，我们不关心其出现的次数，而是关心其作为novel continuation（接续词）的可能性。比如“York”，其在语料中出现的次数一般会比较多，因为“New York”是很高频的词。但别的词把“york”作为接续词的可能性就较低，也就是说它前面的词只有“new”等少数几类词，所以应该给它较低的计数。

a ( w 1 n ) =