31、句子结构分析：从语法困境到上下文无关文法

句子结构分析：从语法困境到上下文无关文法

在自然语言处理中，对句子结构的分析是一项至关重要的任务。之前我们主要关注单词的识别、结构分析、词类划分和词义获取，以及词序列模式的识别。然而，这些方法只是触及了句子复杂约束的表面，我们需要更有效的方法来处理自然语言中著名的歧义问题，以及应对无限数量的可能句子。

1. 语法困境

1.1 语言数据与无限可能性

在处理电子语言数据时，我们面临着巨大的挑战。即使有一个包含过去50年所有英语口头和书面表达的庞大语料库，我们也不能简单地将其定义为“现代英语”。因为语料库中可能包含一些不符合语法的句子，而英语使用者能够判断这些句子的语法正确性，并拒绝那些不符合语法的句子。

另一方面，我们可以轻松地构造出新的句子，并且其他英语使用者能够理解这些句子。句子具有一种有趣的特性，即它们可以嵌入到更大的句子中。例如：
- a. Usain Bolt broke the 100m record.
- b. The Jamaica Observer reported that Usain Bolt broke the 100m record.
- c. Andre said The Jamaica Observer reported that Usain Bolt broke the 100m record.
- d. I think Andre said the Jamaica Observer reported that Usain Bolt broke the 100m record.

我们可以用符号S来替换整个句子，从而得到Andre said S和I think S等模式，