交叉验证(Cross validation)总结

一  什么是CV

       CV，通俗理解就是使用训练数据和测试数据交叉的方式来验证一个（或多个）模型的性能，以此判定算法在数据上的大致性能。

       使用CV可以大致估算出模型的准确率；当模型中有超参数(hyperparameter)时，可以使用CV的方法选取这些超参

二 为什么需要CV

        构建机器学习模型的一个重要环节是评价模型在新数据上的性能。模型过于简单，容易出现欠拟合(high bias, underfitting);模型过于负责，

容易过拟合(high variance, overfitting). 为了达到一个合理的bias-variance平衡，需要对模型进行认真评估，如果达不到平衡，可能需要调参，

甚至更换模型。 CV可以增强模型的泛化能力（即在新数据上的表现）

三 两种CV

     1. Hold-out validation

     使用 hold out （可以理解为保留，即保留部分数据做验证）方法，我们将初始数据集（initial dataset）分为训练集（training dataset）和测试集（test dataset）两部分。训练集用于模型的训练，测试集进行性能的评价。然而，在实际机器学习的应用中，我们常常需要反复调试和比较不同的参数设置以提高模型在新数据集上的预测性能。这一调参优化的过程就被称为