20、自然语言处理中的词法与句法分析

自然语言处理中的词法与句法分析

词法分析后的模糊性

词法分析之后，暂时分析存储（TAS）会包含大量的模糊性，这些模糊性以并行注释的形式呈现，后续需要对其进行解决。在后续的分析中，我们会探讨如何通过考虑句法或语义约束来解决大部分的模糊性问题。

词法分析练习

使用NooJ工具进行以下操作：
1. 在NooJ的文本文件中输入文本“John’s running out of control”。
2. 构建一个NooJ的 .dic 字典文件，该文件要包含此文本中可能出现的所有原子语言单元（ALUs）。TAS必须呈现普通词汇与专有名词、简单词汇、多词单元和短语动词之间的所有模糊性。
3. 构建一个屈折变化的 .nof 语法文件，用于描述动词“to run”的变位形式。
4. 编译字典，然后使用“TEXT > Linguistic Analysis”命令解析文本。
5. 查看TAS中列出的注释数量。

句法分析概述

语言的句法描述了其词汇元素（ALUs）在文本中如何组合成短语或句子。句法分析可分为局部语法和结构语法。

局部语法

局部语法用于描述相对有限的ALU序列，例如数值表达式、地址、日期、语法词序列、名词短语内的词一致性等。识别这些序列无需识别整个句子，通常，局部语法代表仅由包含“有趣”信息的几个单词组成的表达式或结构。

命名实体

在文本分析过程中，会发现许多类似ALU但无法在字典中列出的表达式。例如，从句法或语义角度看，“yesterday”