29、文本分块技术：原理、实现与评估

文本分块技术：原理、实现与评估

1. 标签模式（Tag Patterns）

在文本处理中，分块语法规则借助标签模式来描述带标签单词的序列。标签模式是由尖括号分隔的词性标签序列，例如 <DT>?<JJ>*<NN> ，它与正则表达式模式类似。

1.1 示例分析

考虑来自《华尔街日报》的以下名词短语：
- another/DT sharp/JJ dive/NN
- trade/NN figures/NNS
- any/DT new/JJ policy/NN measures/NNS
- earlier/JJR stages/NNS
- Panamanian/JJ dictator/NN Manuel/NNP Noriega/NNP

可以使用改进后的标签模式 <DT>?<JJ.*>*<NN.*>+ 来匹配这些名词短语。该模式可以对以可选限定词开头，后跟零个或多个任意类型形容词（包括像 earlier/JJR 这样的相对形容词），再跟一个或多个任意类型名词的标记序列进行分块。

然而，存在许多复杂示例该规则无法覆盖，例如：
- his/PRP$ Mansion/NNP House/NNP speech/NN
- the/DT pr