模型评估与选择

过拟合

学习能力过于强大，以至于把训练样本所包含的不太一般的特性都学到了，测试集误差较大，训练集结果较好

欠拟合

学习能力低下，不能准确的根据特性分类，训练集，测试集误差都大

泛化误差

学习器在新样本上的误差

训练误差

学习期在训练集上的误差

评估方法

留出法

将数据集划分为两个部分，一部分当成训练集，另一部分当成测试集

交叉验证法

将数据集D划分为k个大小相似的子集
每次将k-1个子集当成训练集余下的子集当成测试集

自助法

对于包含m个样本的数据集D，每次有放回的从其中抽出一个样本将其放到训练集D’中，重复m次。然后将D/D’作为测试集

性能度量

对给定样本集$D=(x_1,y_1),(x_2,y_2),....,(x_m,y_m)$, 其中$y_i$是$x_i$的真实标记，要评估学习器$f$的心梗，需要把$f(x)$和$y$进行比较

错误率和精度

错误率定义$$E(f,D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)̸=y_i)$$
精度定义为$$acc(f,D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)=y_i)=1-E(f,D)$$