75、机器学习在情感分析与物联网入侵检测中的应用

机器学习在情感分析与物联网入侵检测中的应用

1. SenticNet 基于特征加权方案的情感分析

在情感分析领域，为了确定 SenticNet 基于特征加权方案的性能，采用了亚马逊产品评论数据集。该数据集包含 2000 条评论，其中 1000 条为正标签，1000 条为负标签。训练使用 90%的评论，剩余 10%用于测试。
- 预处理步骤
- 大小写归一化 ：评论包含大写和小写，为保证一致性，将所有评论转换为小写。
- 停用词处理 ：停用词对句子意义贡献不大，过滤停用词可减小文档大小，且不影响模型训练准确性，还能缩短训练时间。
- 现有特征加权方案
- 二元加权 ：表示特征在文档中的存在与否。若关键字在整个文档中存在，特征权重为 1；否则为 0。例如，一个包含 100 个单词的文档中“speed”出现 5 次，在此方案中，不考虑单词出现频率，仅标记关键字存在为 1，不存在为 0。示例文档词矩阵如下：
| Docs | Book | Best | Good | Speed | Read | Bad |
| ---- | ---- | ---- | ---- | ---- | ---- | ---- |
| 1 | 1 | 1 | 1 | 0 | 0 | 0 |
| 2 | 0 | 0 | 0 | 1 | 1 | 1 |
| 3 | 0 | 1 | 0 | 1 | 0 | 1 |
- 词频（TF）