20、词语分类与标注

词语分类与标注

1. 词性标注器的使用

词性标注是自然语言处理中的重要任务，它将文本中的每个单词赋予相应的词性标签。在Python中，借助NLTK库可以轻松实现词性标注。

1.1 基本标注示例

首先，需要导入NLTK库，然后对文本进行分词，最后使用 nltk.pos_tag() 函数进行词性标注。示例代码如下：

import nltk
text = nltk.word_tokenize("And now for something completely different")
print(nltk.pos_tag(text))

输出结果为：

[('And', 'CC'), ('now', 'RB'), ('for', 'IN'), ('something', 'NN'), ('completely', 'RB'), ('different', 'JJ')]

这里，“And”是并列连词（CC），“now”和“completely”是副词（RB），“for”是介词（IN），“something”是名词（NN），“different”是形容词（JJ）。

1.2 标注文档查询

NLTK为每个标签提供了详细的文档说明，可以通过标签名或正则表达式进行查询。例如：

nltk.help.upenn_tagset('RB')
nltk.help.upe