20、词语分类与标注：自然语言处理的基础

词语分类与标注：自然语言处理的基础

1. 引言

在自然语言处理（NLP）中，词语的分类和标注是非常重要的任务。像名词、动词、形容词和副词这些“词类”，并非语法学家的凭空创造，而是在很多语言处理任务中都十分有用的类别。下面将深入探讨词类的相关知识，以及如何对文本中的词语进行词性标注。

2. 使用词性标注器

词性标注器（POS tagger）可以处理一系列的词语，并为每个词语附上相应的词性标签。使用时，别忘了导入 nltk 库。以下是具体示例：

import nltk
text = nltk.word_tokenize("And now for something completely different")
print(nltk.pos_tag(text))

输出结果为：

[('And', 'CC'), ('now', 'RB'), ('for', 'IN'), ('something', 'NN'), ('completely', 'RB'), ('different', 'JJ')]

从结果中可以看出，“and”是并列连词（CC），“now”和“completely”是副词（RB），“for”是介词（IN），“something”是名词（NN），“different”是形容词（JJ）。

NLTK 为每个标签都提供了文档说明，可以通过标签或正则表达式进行查询。例如：