西瓜书第二章

第二章模型估测与选择

2.1 经验误差与过拟合

1. 错误率(error rate)：分类错误的样本占样本总数的比例
2. 精度(accuracy)：1 - 错误率
3. 误差(error)：学习器的实际预测输出与样本的真实输出之间的差异
4. 训练误差(training error) /经验误差(empirical error)：学习器在训练集上的误差
5. 泛化误差(generalization error)：在新样本上的误差
6. 欠拟合/欠配：由学习能力低下造成。相对过拟合而言更容易克服（如：决策树扩展分支，神经网络增加训练轮数）
7. 过拟合/过配：由学习能力太过于强大造成；要克服过拟合比较麻烦，过拟合是机器学习面临的关键障碍，各类机器学习算法都带有针对过拟合的措施，过拟合是无法彻底避免的，我们所能做的只是“缓解”

2.2 学习器泛化误差评估方法

2.2.1 留出法

2.2.2 交叉验证法

2.2.3 自助法

2.2.4 调参与最终模型

2.3 性能度量