18、基于NLP的异构集成文本分类与影评情感分析

基于NLP的异构集成文本分类与影评情感分析

1. 文本分类模型构建

1.1 数据预处理与模型构建顺序

在文本分类任务中，我们首先需要对数据进行预处理。导入所需的库后，使用 UTF8 编码读取数据集，检查数据集中垃圾邮件和正常邮件的比例。接着，使用 CountVectorizer 和 TfidfVectorizer 模块将文本分别转换为向量和 TF-IDF 向量。

模型构建按照以下顺序进行：
1. 基于计数数据的朴素贝叶斯模型
2. 基于 TF-IDF 数据的朴素贝叶斯模型
3. 基于计数数据且使用 RBF 核的支持向量机模型
4. 基于 TF-IDF 数据且使用 RBF 核的支持向量机模型
5. 基于计数数据的随机森林模型
6. 基于 TF-IDF 数据的随机森林模型

1.2 各模型详细训练与评估步骤

1.2.1 朴素贝叶斯模型

• 计数数据 ：构建第一个模型，使用朴素贝叶斯算法处理计数数据。使用 classification_report() 检查性能指标，调用 plot_confusion_matrix() 绘制混淆矩阵。
• TF-IDF 数据 ：构建基于 TF-IDF 数据的朴素贝叶斯模型，并进行性能评估。

1.2.2 支持向量机模型（RBF 核）