模型评估-交叉验证与自助法

交叉验证法：

实质上是多次的留出法。把数据集D分为k个互斥子集（分层抽样），每次选一个子集作为测试集，其他的集合作为训练集，循环k次，求误差平均值。

如果每个子集只包含一个数据，那么叫做留一法。这样的方法显然耗时较多。

自助法：

它以自助采样法(bootstrap sampling)为基础，具体做法很简单，对m个样本进行m次有放回采样得到训练集。剩下的作为测试集。

由于是有放回，那么很可能有些样本重复被采样。任一样本在m次采样后始终没被采到的概率是

(1-1/m)^m

当m趋于无穷，上式极限为1/e≈0.368（这时微积分中经典极限之一）

这表明，m很大时，测试集大约得到了36.8%的数据。

这种方法在留出法难以有效划分时常用到。