38、自然语言处理中的词性标注与解析技术

自然语言处理中的词性标注与解析技术

1. 词性标注基础操作

在自然语言处理（NLP）里，词性标注（POS tagging）是一项关键任务。首先，我们来看如何去除句子的词性标签。使用 nltk.tag 中的 untag 函数就能实现这一操作，示例代码如下：

>>> from nltk.tag import untag
>>> untag([('beautiful', 'NN'), ('morning', 'NN')])
['beautiful', 'morning']

2. 创建词性标注语料库

语料库是文档的集合，多个语料库组成语料库群。下面的代码会在主目录下创建一个名为 ~/nltkdoc 的数据目录：

>>> import nltk
>>> import os,os.path
>>> create = os.path.expanduser('~/nltkdoc')
>>> if not os.path.exists(create):
  os.mkdir(create)
>>> os.path.exists(create)
True
>>> import nltk.data
>>> create in nltk.data.path
True