统计学习方法——模型的选择与评估（过拟合、泛化能力）

参考书目及论文：《统计学习方法》——李航、A Tutorial on Support Vector Machine for Pattern Recognition

监督学习的目的是找到一个输入输出映射（模型），使得这个模型不仅对训练数据有很好的拟合能力，对于未知数据，它也有很好的预测能力。这篇博客介绍选择和评估模型的标准。本篇博客一共有以下几个重点：训练误差与测试误差、泛化能力、过拟合。

训练误差与测试误差

训练误差是模型关于训练集的平均损失来表示：

其中为训练集中数据的个数；损失函数在上一篇博客：统计学三要素中有介绍，同时我们可以看到，训练误差也就是该篇文章所提到的经验损失函数。训练误差的大小，可以说明问题是不是一个容易学习的问题。