13、Python NLTK 3 文本处理：分词与 WordNet 基础

Python NLTK 3 文本处理：分词与 WordNet 基础

1. 引言

自然语言工具包（NLTK）是一个用于自然语言处理和文本分析的综合 Python 库。它最初是为教学而设计的，但由于其实用性和广泛的覆盖范围，已被行业用于研究和开发。NLTK 常用于文本处理程序的快速原型开发，甚至可用于生产应用。

2. 文本分词与 WordNet 基础概述

• 分词 ：将一段文本拆分为多个部分（如句子和单词）的方法，是后续文本处理的重要第一步。
• WordNet ：专为自然语言处理系统的编程访问而设计的词典，有多种用途，包括查找单词定义、同义词和反义词、探索单词关系和相似度，以及消除多义词的歧义。NLTK 包含一个 WordNet 语料库阅读器，用于访问和探索 WordNet。

3. 文本分词为句子

3.1 准备工作

• 安装 NLTK：安装说明见 http://nltk.org/install.html ，编写本文时的最新版本是 3.0b1，该版本适用于 Python 3.0 及以上，但也与 Python 2.6 及以上版本向后兼容，本文使用 Python 3.3.2。
• 安装数据：按照 http://nltk.org/data.html 的说明安装数据，建议安装所有数据，因为会用到多个语料库和 pickle 对象。数据安装在数据目录中，Mac 和 Linux/Unix 通常是 /usr/share/nltk_data，Windows 是 C:\nltk_dat