「ML」chapter2模型选择与评估

经验误差和过拟合

1. 经验误差
   学习器在训练集上的误差称为经验误差
   2.过拟合
   学习器的经验误差降低，同时泛化性能也跟着下降。

评估方法

划分训练集和测试集
1.留出法
数据划分成互斥的两组，并尽可能保证数据分布的一致性，避免因为划分过程引入的偏差而对结果产生影响。
同时，单次使用留出法得到的估计结果往往不够稳定，一般采用若干次随机划分，重复实验评估。
2. 交叉验证法
分成k组大小相似的互斥子集，一般采用分层采样。选k-1份作为训练集，余下作为测试集。
3. 自助法
在数据量不够大的时候，通过自助采样法使得样本规模一致：给定包含m个样本的数据集D，有放回的采样得到数据集D’, 可以保证约有36.8%的样本不被采集到。
自助法在数据集较小、难以划分训练／测试集时很有用，数据量足够时，前两种更常用点。
4. 调参和最终模型

性能度量

1. 错误率与精度
   错误率：
   $$E(f;D)=\frac{1}{m}\sum_{i=1}^{m}I(f(x_i)\not=y_i).$$
   精度：
   $$acc(f;D) = 1- E(f;D)$$
2. 查准率(precision)和查全率(recall)与F1
   对于二分类问题，真是类别和预测类别的组合划分为真正例(TP),假正例(FP),真反例(TN),假反例(FN)。
   precision的计算方法：
   $$P = \frac{TP}{TP+FP}$$
   recall
   $$R = \frac{TP}{TP+FN}$$
   P-R曲线：根据学习器的预测结果对样例进行排序，排在最前的是学习器认为最可能是正例的样本。生成P-R曲线的方法是：取排序中的某一样例前的所有样例为预测的正样例，其余为反样例，计算出一组P-R值成为曲线中的一个点。
   F1度量：P、R的调和平均，跟算术平均和几何平均相比，调和平均更重视较小值
   $$F1 = \frac{2\times P\times R}{P+R}$$
   在不同的应用中对P、R的重视程度不一样，F1的一般形式$F_\beta$:
   $$F_\beta = \frac{1+\beta^{2}\times P\times R}{(\beta^2\times P)+R}$$
3. ROC和AUC
   真正例率TPR和假正例率FPR
   $$TPR = \frac{TP}{TP+FN}\\ FPR = \frac{FP}{FP+TN} \\ $$
   ROC曲线画法跟PR曲线类似，取TPR和FPR的点组形成，AUC为ROC曲线与FRP轴形成的面积，纵轴为TPR。AUC考虑样本预测的排序质量，因此与排序误差有紧密联系。

比较检验

假设检验 #略

偏差与方差

方差,对样本数相同的不同训练集训练误差的方差

$$\bar f (x) = E_D[f(x;D)]$$
方差：
$$var(x) = E_D[(f(x;D)-\bar f(x))^2]$$
噪声：
$$\epsilon ^2 = E_D[(y_D-y)^2]$$
偏差：
$$bias^2(x) = (\bar f(x) -y)^2$$
泛化误差：
$$E(f;D) = E_D[(f(x;D)-y_D)^2] =bias^2(x) + var(x) + \epsilon^2$$

[参考文献]
Machine Learning by 周志华