在模型评估过程中，有哪些主要的验证方法，他们的优缺点是什么？在自助法的采样过程中，对Ｎ个样本进行Ｎ次自助采样，当Ｎ区域无穷大时最终有多少个数据从未被选择过？

Ｈｏｌｄｏｕｔ检验：

Ｈｏｌｄｏｔ检验是最简单也是最直接的验证方法，它将原始的样本集合随机划分成训练集和验证集２部分。

比方说，对于一个点击率预测模型，我们把样本按照７０％－３０％的比例分成２部分，７０％的样本用于模型训练。３０％用于模型验证，包括绘制ＲＯＣ曲线，计算精确率和召回率等指标来评估模型性能。

ｈｏｌｄｏｕｔ检验的缺点很明显：

即在验证集上计算出来的最后评估指标和原始分组有很大的关系。为了消除这个随机性，研究者引入了“交叉检验”．

 

交叉检验：

ｋ－ｆｏｌｄ交叉验证：

首先将全部样本划分成Ｋ个大小相等的样本子集。依次遍历这Ｋ个子集，　每次　　每次把当前子集作为验证集，其余所有子集作为训练集，进行模型训练和评估。最后把ｋ次的评估指标的平均值作为最终的评估指标。在实际实验中，Ｋ经常取值１０.

留一验证：

每次留下一个样本作为验证集，其余所以样本作为测试集。样本总数为N，一次对Ｎ个样本进行遍历，进行Ｎ次验证，在将评估指标求平均值得到最终的评估指标。在样本总数较多的情况下，留一验证法的时间开销极大。

事实上，留一验证是留ｐ验证的特例，留Ｐ验证是每次留下Ｐ个样本作为验证集，从Ｎ个元素中选出P个元素有ｃｎｐ个可能，因此它的时间开销更是远远高于留一验证，所以很少使用。

自助法：

不管是ｈｏｌｄｏｕｔ检验还是交叉检验，都是基于划分训练集合测试集的方法进行模型评估的。然后，当样本规模比较小时，将样本集进行划分会让训练集进一步减小，这可能会影响模型训练效果。有没有能维持训练集合样本规模的验证方法呢？自助法可以比较好的解决这个问题；

自助法基于自助采样法的检验方法。对于总数为Ｎ的样本集合，进行Ｎ次有放回的随机抽样，得到大小为N的训练集。Ｎ次采样过程中，有的样本会被重复采样，有的样本没有被抽取过，将这些没有被抽取过的样本作为验证集，进行模型验证，这就是自助法验证过程。

 

 

在自助法的采样过程中，对Ｎ个样本进行Ｎ次自助采样，当Ｎ区域无穷大时最终有多少个数据从未被选择过？</