33、分类器与预测器的评估、集成方法及模型选择

分类器与预测器的评估、集成方法及模型选择

1. 评估分类器或预测器的准确性

1.1 误差率指标

测试误差（率），也称为泛化误差，是测试集上的平均损失。常见的误差率指标如下：
- 平均绝对误差 ：
[
\frac{\sum_{i=1}^{d}|y_{i}-y_{i}’|}{d}
]
- 均方误差 ：
[
\frac{\sum_{i=1}^{d}(y_{i}-y_{i}’)^{2}}{d}
]

均方误差会夸大离群值的影响，而平均绝对误差则不会。若对均方误差取平方根，得到的误差度量称为均方根误差，它能使测量的误差与预测的数量具有相同的量级。

有时，我们希望误差相对于仅预测训练数据 (D) 中 (y) 的均值 (y) 时的误差。相对误差度量包括：
- 相对绝对误差 ：
[
\frac{\sum_{i=1}^{d}|y_{i}-y_{i}’|}{\sum_{i=1}^{d}|y_{i}-y|}
]
- 相对平方误差 ：
[
\frac{\sum_{i=1}^{d}(y_{i}-y_{i}’)^{2}}{\sum_{i=1}^{d}(y_{i}-y)^{2}}
]

其中 (y) 是训练数据中 (y_{i}) 的均值，即 (y = \frac{\sum_{i=1}^{t}y_{i}}{d})。对相对平方误差取平方根可得到相对均方根误差，使结果误