19、电影评论情感分析项目的实现与评估

电影评论情感分析项目的实现与评估

项目设计

我们将项目分为两个阶段：
1. 模型训练与评估 ：建模代码的质量常被忽视，但它是项目的重要部分。代码应具备可复用性，以便能交接实验，同时模型要可复现，这不仅出于学术原因，也为了业务需求可能的模型重建。一种常见的使建模项目可复用的方法是构建笔记本或笔记本集合，但由于本项目的建模较为直接，暂不涉及此内容。
2. 脚本构建 ：脚本接收一个参数，即 JSON 格式评论文件的路径（每行一个 JSON 格式的评论），并输出一个 JSON 格式的评论分布报告。脚本的验收标准如下：
- 具有有用的使用说明输出。
- 对于 95% 的电影，运行时间应少于 1 分钟。
- 输出文件格式如下：

{
    "count": ###,
    "mean": 0.###,
    "std": 0.###,
    "median": 0.###,
    "min": 0.###,
    "max": 0.###
}

其中，用于计算平均值的分数应为 0 到 1 之间的浮点数。

项目实现

按照建模项目的步骤进行操作：
1. 获取数据 ：已有数据并已查看。
2. 数据处理 ：
- 合并正负样本为训练集和测试集：

train = pos