3、语言研究中的统计学与概率视角

语言研究中的统计学与概率视角

1. 语言研究的基本问题

语言研究主要关注两个基本问题：
- 人们会说哪些类型的内容？
- 这些内容对世界表达、询问或请求了什么？

从这两个基本问题出发，研究还会扩展到人类如何习得语言知识，以及如何实时生成和理解句子。不过，我们先聚焦于这两个基本问题。第一个问题涵盖了语言结构的各个方面，第二个问题则涉及语义学以及如何将话语与现实世界相联系。

大多数统计自然语言处理（Statistical NLP）的工作主要围绕第一个问题展开，即探究人们会说哪些类型的内容。传统语言学试图通过描述一种被认为是语言基础的能力（competence）来回答这个问题，这种能力被生成语法学派假定存在于说话者的头脑中。传统语言学认为存在一组由能力语法许可的语法句子，而其他词串则是不符合语法的。语法性（grammaticality）的判断纯粹基于句子的结构是否正确，而不考虑它是否是人们实际会说的内容，或者在语义上是否异常。例如，乔姆斯基提出的“Colorless green ideas sleep furiously”，虽然语义奇怪，但在语法上是正确的。

然而，将句子简单地分为语法和不语法两类存在一些问题。首先，在简单情况下，这种二元划分似乎合理，但随着研究的深入，就变得越来越牵强。其次，我们对不同句子和句子类型的使用频率很感兴趣，而简单的二元划分并不能提供这方面的信息。例如，非母语者说或写的内容有时在语法上没有问题，但听起来就是有点奇怪，如 “In addition to this, she insisted that women were regarded as a different existence from men unfairl