19、词性标注全解析

词性标注全解析

1. 词性标注简介

词性标注是将以单词列表形式呈现的句子转换为元组列表的过程，每个元组的形式为 (单词, 标签)。这里的标签就是词性标签，用于表明该单词是名词、形容词、动词等。

词性标注在组块分析之前是必要步骤。没有词性标签，组块分析器就无法知道如何从句子中提取短语。而有了词性标签，就能告知组块分析器如何根据标签模式识别短语。此外，词性标签还可用于语法分析和词义消歧。例如，“duck” 这个词既可以指一种鸟，也可以是表示向下移动的动词。计算机若没有额外信息（如词性标签），就无法区分其含义。

大多数词性标注器是可训练的，它们使用带标签的句子列表作为训练数据，通过这些训练句子生成内部模型，以此来决定如何为单词标注词性。也有一些标注器使用外部数据源或匹配单词模式来选择标签。NLTK 中的所有标注器都在 nltk.tag 包中，并且继承自 TaggerI 基类。 TaggerI 要求所有子类实现 tag() 方法，该方法以单词列表为输入，返回带标签的单词列表作为输出，同时还提供了 evaluate() 方法用于评估标注器的准确性。许多标注器还可以组合成回退链，当一个标注器无法为单词标注时，就会使用下一个标注器，以此类推。

2. 默认标注

默认标注为词性标注提供了一个基线，它简单地为每个标记分配相同的词性标签，使用 DefaultTagger 类来实现。这个标注器可作为最后的手段，也为衡量准确性的提升提供了基准。

2.1 准备工作