10、自然语言数据处理：查找与准备

自然语言数据处理：查找与准备

1. 文本正则化技术概述

在自然语言处理（NLP）中，文本正则化是非常重要的步骤，它能让文本数据更适合后续处理。下面将介绍几种关键的文本正则化技术，包括分词、小写转换、词干提取、词形还原、停用词去除、标点符号去除、拼写纠正等，并给出在Python中的应用方法。

2. 分词（Tokenization）

NLP软件大多基于单词层面进行操作，所以需要将文本拆分为单词。在很多语言中，通过空格分隔文本是常见的分词方式，但存在很多特殊情况不适用。

2.1 示例代码

# 按空格分词
text = "Walk here."
tokens_by_space = text.split()
print(tokens_by_space)

# 使用NLTK分词
import nltk
tokens_nltk = nltk.word_tokenize(text)
print(tokens_nltk)

2.2 分词结果对比

示例	问题	按空格分词结果	NLTK分词结果
Walk here.	标点不应包含在分词中	[‘Walk’, ‘here.’]	[‘Walk’, ‘here’, ‘.’] </