西瓜书学习笔记（2）

西瓜书学习笔记

chapter 2 模型评估与选择

2.1 经验误差与过拟合

分类错误的样本数占总样本的比例称为“错误率”（error rate）
精度=1-错误率
学习器的实际预测输出与样本的真实输出之间的差异称为“误差”，在训练集上称为训练误差，测试集上称为泛化误差。

过拟合的原因：学习能力太过强大，学习到了训练集中的不太一般的特性。
欠拟合则是学习能力不够，可以通过在决策树学习中扩展分支，在神经网络中增加训练轮数。

对候选模型进行泛化评估（在测试集上测试性能，作为泛化误差的近似，注意这两者不画等号），选择泛化性能最好的那个模型。
测试样本要尽可能与训练集互斥，以获得更准确的泛化效果评估。

对样本D进行适当处理，从中产生训练集S和测试集T。
划分方法有：1，留出法：也就是1000个样本按一定比例划分。单次使用留出法得到的估计结果往往不够可靠，一般采用若干次随机划分，重复进行试验评估后取平均值作为留出法的评估结果。
2，交叉验证法：先将样本划分为k个大小相似的互斥子集，并保持数据分布的一致性，将k-1个子集用作训练集，剩下的一个用作测试集。
这样可以得到k组训练/测试集。进行k次交叉验证，返回的是k次的均值。
k 的通常取值为10。
同留出法一样，将D划分为k组也有多种方式，所以应进行p次试验，减小因样本划分不同而造成的误差。常见的是“十次十折交叉验证”。
3&#