14、电影评论情感分类：基于词袋模型与逻辑回归

电影评论情感分类：基于词袋模型与逻辑回归

1. 词袋模型概述

在处理自然语言文本时，输入通常是文本形式，这与之前使用NumPy库随机生成的数值输入向量不同。不过，自然语言处理和信息检索领域已经开发出一种将文本映射为数值特征向量的技术，即词袋模型（Bag of Words model）。

词袋模型是自然语言处理中的一种方法，它以句子形式的文本作为输入，通过考虑提取的词汇及其出现频率将其转换为特征向量。之所以称为词袋模型，是因为每个单词的频率计数就像一个“袋子”，单词的每次出现都是这个袋子里的一个物品。该模型可以将电影评论转换为特征向量，用于情感分类。

1.1 词袋模型处理步骤

以一段关于迈克尔·杰克逊电影的评论为例：

With all this stuff going down at the moment with MJ i've started listening 
to his music, watching the odd documentary here and there, watched The Wiz 
and watched Moonwalker again.

使用词袋模型处理这段评论的步骤如下：
1. 文本预处理 ：
- 去除非字母字符，如数字、HTML标签和标点符号，将文本简化为纯单词。
- 把剩余的单词缩减为名词、动词或形容词，去除连词、冠词等停用词。许多现成的停用词列表可供使用，Python的自然语言工具包（NLTK）提供的列表是一个不错的起点