10、原始文本处理：从数据获取到字符串操作

原始文本处理：从数据获取到字符串操作

1. 文本处理的目标与准备

在自然语言处理（NLP）中，文本处理是一项基础且关键的任务。我们的目标主要围绕以下几个方面：
1. 编写程序从本地文件和网络获取文本，以获取无限的语言材料。
2. 将文档拆分为单个单词和标点符号，以便进行与之前文本语料库相同类型的分析。
3. 编写程序生成格式化输出并将其保存到文件中。

为了实现这些目标，我们将涉及NLP中的关键概念，如分词和词干提取。同时，我们还需要巩固Python知识，学习字符串、文件和正则表达式。在后续的代码示例中，我们需要在交互式会话或程序开始时添加以下导入语句：

>>> from __future__ import division
>>> import nltk, re, pprint

2. 从网络和磁盘访问文本

2.1 电子书

古登堡计划（Project Gutenberg）有大量的免费在线书籍，我们可以从中获取文本进行分析。虽然NLTK语料库集合中包含了古登堡计划的一小部分文本样本，但我们也可以通过其目录（http://www.gutenberg.org/catalog/ ）浏览并获取其他书籍的URL。该计划中90%的文本是英文，但也包含超过50种其他语言的材料。

以《罪与罚》（Crime and Punishment）为例，我们可以按以下步骤获取文本：

>>&