轻松入门自然语言处理系列 11 语言模型

前言

本文主要介绍了语言模型，包含语言模型基础、语言模型训练、语言模型的评估和平滑。

一、语言模型基础

1.语言模型概念

语言模型（Language Model）是NLP中最重要的概念，其作用是用来判断一句话从语法上来看是否通顺。举例如下：

如果不通顺，则可以通过一定的规则来纠正为正确的语法形式。

判断方式是利用概率，如下：

概率的计算方式就是语言模型中的核心内容。

语言模型可以应用到机器翻译、文本生成和拼写纠错等诸多领域。语言模型最主要的作用是保证文本的语法结构，得到通顺的语句。语言模型基于概率统计的方法，已经训练好的语言模型可以对任何一个文本给出概率，概率越高说明语法上越通顺。通过比较两句话在同一个语言模型上的概率，就可以得出哪一句话更通顺一些。

2.计算语言模型的概率

语言模型中计算一个句子出现概率的过程如下。