概念收集

泛化能力

通常将学习方法对未知数据的预测能力称为泛化能力（generalization ability），是学习方法本质上最重要的性质。

过拟合

过拟合是指学习时选择的模型所包含的参数过多，导致出现这一模型对已知数据预测的很好（训练数据集精确度很高），但是对未知数据预测很差（测试数据集精确度很低）的情况。

交叉验证（cross validation）

利用交叉验证选择模型

简单交叉验证

简单交叉验证的方法是：首先随机的将已知数据分为两部分，一部分作为训练集，另一部分作为测试集；然后用训练集在各种条件下训练模型，从而得到不同的模型；在测试集上评价各个模型的测试误差，选出测试误差最小的模型

S折交叉验证

应用最多的是S折交叉验证（S-fold cross validation），方法如下：首先随机的将已知数据切分为S个互不相交的大小相同的子集；然后利用S-1个子集的数据训练模型，利用余下的子集测试模型；将这一过程对可能的S中选择重复进行；最后选出S次评测中平均测试误差最小的模型。

留一交叉验证

S折交叉验证的特殊情况是S=N，称为留一交叉验证（leave-one-out cross validation），往往在数据缺乏的情况下使用。