14、影评情感分类：基于词袋模型与逻辑回归

影评情感分类：基于词袋模型与逻辑回归

1. 引言

在处理影评情感分类任务时，输入是文本数据，这与随机生成的数值输入向量不同。不过，自然语言处理领域有一种名为词袋模型（Bag of Words model）的技术，可以将文本映射为数值特征向量，非常适合用于机器学习。

2. 词袋模型介绍

词袋模型是自然语言处理中的一种方法，它以句子形式的文本为输入，通过考虑提取的词汇及其出现频率，将其转换为特征向量。之所以称为词袋模型，是因为每个单词的频率计数就像一个“袋子”，单词的每次出现都是袋子里的一个物品。

2.1 词袋模型处理文本的步骤

• 预处理文本 ：去除非字母字符（如数字、HTML标签和标点符号），将文本简化为纯粹的单词。然后，将剩余单词筛选为名词、动词或形容词，去除冠词、连词和其他停用词（即对文本本身没有区分特征的单词）。
  • 许多现成的停用词列表可供使用，Python的自然语言工具包（NLTK）中的停用词列表是一个不错的起点，可在https://gist.github.com/sebleier/554280找到。NLTK目前支持21种语言的停用词，更多信息可查看http://mng.bz/MoPn。
• 生成计数直方图 ：对剩余的词汇进行计数，形成一个计数直方图，这个直方图就成为输入文本的“指纹”。
• 归一化特征向量 ：通常，将计数除以最大计数，对“指纹”进行归一化，得到值在0到1之间的特征向量。