17、统计与几何语言模型：理论、实践与应用

统计与几何语言模型：理论、实践与应用

1. 统计语言模型概述

1.1 马尔可夫链与 n - 元语法模型的历史

马尔可夫链用于语言建模可追溯到香农 1948 年的工作《A mathematical theory of communication》。在该工作中，他基于 n - 元语法模型进行了一些实证实验，以估计英语的熵。然而，在 50 年代、60 年代和 70 年代，由于理性主义者的强烈批评，n - 元语法模型在计算语言学和自然语言处理研究中未得到认真考虑，直到 80 年代后期，它们在实际应用中被证明非常有用。

1.2 n - 元语法概率折扣方法

除了文中讨论的古德 - 图灵折扣法，还有其他折扣 n - 元语法概率的方法，包括加一平滑法和维滕 - 贝尔折扣法等。这些基本技术的详细回顾可参考相关资料。非线性插值技术回退法（Katz 1987）也可用于估计未见 n - 元语法的概率，它基于训练中实际看到的低阶 k - 元语法（k < n）的概率进行估计。插值和折扣技术通常被统称为平滑方法，在实践中常结合使用。最常用的平滑 n - 元语法概率的方法是修正的克内泽 - 内伊法（Chen 和 Goodman 1998），它基于克内泽和内伊（1995）最初提出的回退策略。

1.3 预训练语言模型

在深度学习时代，一些深度神经网络架构通过大量数据训练产生了所谓的预训练语言模型。这些新一代语言模型在自然语言处理的广泛任务中，包括语言理解和生成，都取得了显著的进展。一些当前最先进的预训练语言模型包括 BERT（Devlin 等人，2018）、T5（Raffel 等人，2020）和 GPT - 3（Brown 等人，2020