5、文本数据清洗与预处理：从手动到NLTK的全面指南

文本数据清洗与预处理：从手动到NLTK的全面指南

在自然语言处理（NLP）领域，将原始文本直接用于机器学习或深度学习模型是不可行的。在将文本用于模型训练之前，必须对其进行清洗和预处理，包括将文本拆分为单词、处理标点符号和大小写等。本文将详细介绍如何手动清洗文本，以及如何使用Python的NLTK库进行更高级的文本处理。

1. 选择数据集

我们选择了Franz Kafka的《变形记》（ Metamorphosis ）作为示例数据集。你可以从Project Gutenberg免费下载其ASCII文本版本： Metamorphosis by Franz Kafka Plain Text UTF - 8 。下载后，将文件保存为 metamorphosis.txt ，并删除文件中的页眉和页脚信息（主要是版权和许可信息），保存为 metamorphosis_clean.txt 。

2. 文本清洗的任务特异性

在清洗文本之前，需要明确处理文本的目标。观察《变形记》的文本，我们可以发现以下特点：
- 纯文本，无需解析标记。
- 使用英式英语（如“travelling”）。
- 每行约70个字符处有换行。
- 无明显拼写错误。
- 包含各种标点符号，如逗号、引号、问号等。
- 有连字符描述，如“armour - like”。
- 大量使用破折号延续句子。