第二十三篇：Python 进阶-自然语言处理基础（NLP）

第二十三篇：Python 进阶-自然语言处理基础（NLP）

1. 文本预处理

分词（Tokenization）的方法与工具

分词是将文本分割成一个个单词、子词或符号的过程，它是自然语言处理的基础步骤。

方法

• 基于空格分词：对于一些简单的文本，单词之间以空格分隔，直接按空格分割文本即可得到单词列表。例如，对于文本 “I love Python”，通过 text.split(' ') 就能得到 ['I', 'love', 'Python']。但这种方法对于复杂文本，如包含标点符号或特殊字符的文本，效果不佳。
• 基于正则表达式分词：可以使用正则表达式来更灵活地定义分词规则。例如，使用 re 模块的 re.split() 函数，通过正则表达式模式来分割文本。如对于文本 “Hello, world! How are you?”，使用 re.split(r'\W+', text) 可以将其按非单词字符（如标点符号、空格等）分割，得到 ['Hello', 'world', 'How', 'are', 'you']。

工具

• NLTK（Natural Languag