26、模型评估与实践：从基础到挑战

模型评估与实践：从基础到挑战

1. 分类模型评估

1.1 混淆矩阵分析

在分类模型评估中，混淆矩阵是一个重要工具。非主对角线上的元素 (C[i, j]) 代表了容易混淆的类别。例如，在文档年代分类中，有 6% 来自 1900 年的文档被错误分类为 2000 年，而没有被分类为 1800 年。这种不对称性为改进分类器提供了方向。

类别混淆可能有两种原因：一是分类器存在漏洞，需要进一步优化以区分不同类别；二是类别之间可能存在较大重叠，导致正确答案难以明确界定。比如在 Google 新闻中，科学和技术类别的界限就很模糊，一篇关于商业太空飞行的文章该归为哪一类就存在争议，频繁的混淆可能意味着需要合并这两个类别。

混淆矩阵的稀疏行表示训练数据中该类别样本不足，稀疏列表示分类器不愿意分配该标签。这可能提示我们考虑放弃该标签，合并相似类别。

1.2 性能统计指标

混淆矩阵的行和列可以提供多类别分类的性能统计指标，主要包括精确率（Precision）和召回率（Recall）：
- 精确率 (Precision_i)：指所有被判定为类别 (i) 的样本中，实际属于类别 (i) 的比例，计算公式为 (Precision_i = C[i, i] / \sum_{j=1}^{d} C[j, i])。
- 召回率 (Recall_i)：指所有实际属于类别 (i) 的样本中，被正确识别为类别 (i) 的比例，计算公式为 (Recall_i = C[i, i] / \sum_{j=1}^{d} C[i, j])。

2. 价值预测模型评估

2.1 误差统计