26、模型评估与数据处理全解析

模型评估与数据处理全解析

1. 模型评估基础

在模型评估中，混淆矩阵是一个重要工具。非主对角线上的元素 C[i, j] 代表了常被混淆的类别。例如，在一个文档年代分类的例子中，有 6% 来自 1900 年的文档被错误分类为 2000 年，而没有被分类为 1800 年，这种不对称性为改进分类器提供了方向。

分类混淆可能有两种原因：
- 分类器存在漏洞，需要进一步优化以区分不同类别。
- 类别之间可能存在较大重叠，导致难以明确正确答案。比如在 Google 新闻中，科学和技术类别的界限就很模糊，一篇关于商业太空飞行的文章该归为哪类就很难确定，这种频繁的混淆可能意味着需要合并这两个类别。

混淆矩阵的行和列还能提供多类别性能统计信息，主要有以下两个指标：
- 精确率（Precision）：对于类别 i，精确率是指所有被判定为类别 i 的项目中，实际属于类别 i 的比例，计算公式为：$precision_i = \frac{C[i, i]}{\sum_{j=1}^{d} C[j, i]}$。
- 召回率（Recall）：对于类别 i，召回率是指所有属于类别 i 的成员中，被正确识别为该类别的比例，计算公式为：$recall_i = \frac{C[i, i]}{\sum_{j=1}^{d} C[i, j]}$。

2. 价值预测模型评估

价值预测问题可看作是对无限多个类别的分类任务，但有更直接的方法来评估回归系统，主要基于预测值和实际值之间的距离。

2.1 误差统计

对于数值，误差是预测值 $y’ = f(x)$ 和实际结果 $y$ 之间差异的函数。评估价值预测系统