8、词性标注全解析：从基础到高级应用

词性标注全解析：从基础到高级应用

1. 词性标注简介

词性标注是将句子（以单词列表形式呈现）转换为元组列表的过程，每个元组的形式为 (单词, 标签)。这里的标签代表词性，如名词、形容词、动词等。词性标注在文本处理中至关重要，它是短语提取的必要前置步骤。没有词性标签，短语提取器就无法知道如何从句子中提取短语，但有了词性标签，就可以根据标签模式告诉短语提取器如何识别短语。此外，词性标签还可用于语法分析和词义消歧。

大多数词性标注器是可训练的，它们使用带标签的句子列表作为训练数据，通过这些训练句子生成内部模型，以此来确定如何为单词标注词性。NLTK 中的所有标注器都位于 nltk.tag 包中，继承自 TaggerI 基类。 TaggerI 要求所有子类实现 tag() 方法，该方法以单词列表为输入，返回带标签的单词列表作为输出，同时还提供了 evaluate() 方法用于评估标注器的准确性。许多标注器还可以组合成回退链，当一个标注器无法为单词标注时，会使用下一个标注器，以此类推。

2. 默认标注

默认标注为词性标注提供了一个基线，它简单地为每个标记分配相同的词性标签，使用 DefaultTagger 类来实现。这个标注器可作为最后的手段，也为衡量准确性的提升提供了基准。

2.1 准备工作

本章大部分内容将使用树库语料库，因为它是一个通用标准，加载和测试速度快。不过，这里的方法同样适用于布朗语料库、conll2000 语料库以及其他任何带词性