8、文本分类评估指标与统计检验详解

文本分类评估指标与统计检验详解

在文本分类任务中，准确评估分类器的性能至关重要。本文将详细介绍一些常用的评估指标，如准确率、召回率、F1值等，以及如何计算置信区间和进行统计检验。

1. 考虑“我不知道”答案的评估方法

在评估分类器时，除了考虑正确和错误答案，还可以考虑“我不知道”这种回答。可以为不同情况分配相应的分数：
- 正确决策：1分
- 错误决策：0分
- 系统回答“我不知道”：0.5分

通过将这些值相加，可以定义一个总体优点分数。一个完美的分类器将达到性能值 s（即待分类实例的数量），而最差的情况为 0。例如，有 s = 100 个实例，其中 nc = 80 个正确（nu = 0），则该分类器的优点分数为 80 · 1 - 20 · 0 = 80。当有 10 个决策错误，10 个未回答时，性能为 80 · 1 - 10 · 0.5 - 10 · 0 = 85。

2. 准确率、召回率和 F1 测量

在其他文体计量应用中，如作者剖析，需要通过正确识别各种类别来衡量性能，而不是计算全局准确率。可以使用准确率（Precision）和召回率（Recall）来评估分类器的性能。

2.1 列联表

为了理解这些评估指标，结果可以通过列联表展示，以类别 Cj 为例，如下表所示：
| 类别 Cj | 真实状态 - 是 | 真实状态 - 否 |
| ---- | ---- | ---- |
| 分类器建议 - 是 | TP（真阳性） | FP（假阳性） |
| 分类器建议 - 否 | FN（假阴性） | TN（真阴性） |

<