18、情感分析结果评估：Kappa指数与ROC曲线的应用

情感分析结果评估：Kappa指数与ROC曲线的应用

1. Kappa指数在情感分析中的应用

在情感分析研究中，Kappa指数常被用作衡量研究结果一致性的指标。此前有研究表明，基于面部特征的Mizaj识别程序在检测研究群体的Mizaj方面具有较高的有效性，但需要更大样本量的调查来证实这一结果。

研究的目的在于验证当有多个观察者时会出现什么情况，以及如何直接消除采用Kappa指数时可能产生的误差，从而判断是否存在真正的一致性，以及这种一致性在哪个情感组中产生。

1.1 研究方法

• 观察者自发聚集，观察一堂课或一部电影，并验证他们在应用Kappa指数时的一致性。
• 确定观察者意见之间的差异程度，找出可能在一致性方面占主导地位的情感，在本次实验中为中性情感。
• 当获得不同的匹配情感值时，决定是否能得到情感组，以及包含最多情感一致性的聚类落在哪个情感组以及所占的百分比，并评估该聚类以检查一致性是否显著。

1.2 实验过程

实验获取了21位观察者的一致性程度。从Kappa值可以看出，观察者之间存在差异，因此需要通过分组并分析是否与平均值或情感质心一致来验证这种差异。以下是实验中不同情感的Kappa值：
| 情感 | 中性 | 愤怒 | 快乐 | 悲伤 | 恐惧 | 厌恶 | 惊讶 |
| — | — | — | — | — | — | — | — |
| 百分比 | 80 | 80 | 62 | 8 | 58 | 40 | 80 |
| | 57 | 58 | 58 | 19 | 58 | 40 | 19 |
| | 55