15、基于规则的自然语言处理技术解析

基于规则的自然语言处理技术解析

1. 正则表达式使用的通用技巧

正则表达式容易变得非常复杂，难以修改和调试。它们可能无法识别本应识别的内容，也可能错误地识别不应识别的内容。虽然试图让正则表达式精确匹配目标内容很有吸引力，但这会使表达式变得过于复杂而难以理解。有时，为了保持表达式的简单性，忽略一些边缘情况可能是更好的选择。

如果现有的正则表达式无法捕获所需的内容，或者错误地捕获了不需要的内容，在不破坏原有功能的情况下修改现有表达式可能会很困难。以下是一些让正则表达式更易于使用的技巧：
- 明确匹配目标 ：首先写下正则表达式要匹配的内容，例如任意两个连续的大写字母。这有助于明确目标，也能帮助发现可能遗漏的情况。
- 分解复杂表达式 ：将复杂的表达式分解为组件，在组合之前独立测试每个组件。这不仅有助于调试，组件表达式还可能在其他复杂表达式中复用。
- 利用现有正则表达式 ：在编写自己的正则表达式之前，先使用经过测试的现有正则表达式，如 Python 的 datetime 包中的正则表达式。这些表达式经过了多年和众多开发者的测试。

2. 词级分析

词级分析主要有两种方法：词形还原和利用本体中的语义信息。

2.1 词形还原

词形还原是将文本中的每个单词转换为其根词的过程，例如丢弃英语中复数结尾的 -s 。词形还原需要一个字典，因为字典提供了被还原单词的根词。在之前的文本预处理中，我们使用了普林斯顿大学的 WordNet 作为字典。