豆瓣9.6分统计学神作ISL之第五章读书笔记，带你系统学习交叉验证（cross-validation）和自助法（bootstrap）

1. 原文内容概要

这一章节的核心议题是在面临样本量相对有限的情况下，如何巧妙地运用重采样的技术，以提高对模型预测准确性的评估。我们将深入探讨重采样方法（resampling methods）的应用，以揭示在数据稀缺的环境中，如何通过重新组合和利用现有样本，实现对模型性能更精确、更可靠的评估。这一过程不仅有助于我们更全面地了解模型在各种情况下的表现，还能够为模型优化提供有力的数据支持，从而在实际应用中取得更好的效果。

2. 算法知识总结

作者开篇即直截了当地指出了重采样方法的本质，即利用有限的样本数据通过重复随机抽样的方式生成新的数据集，以便在样本量不足或分布假设不明确的情况下，更准确地估计统计量的抽样分布和模型的预测性能（They involve repeatedly drawing samples from a training set and refitting a model of interest on each sample in order to obtain additional information about the fitted model）。这种方法的核心在于通过模拟的方式增加样本量，从而提高统计推断的稳健性和可靠性。

本章节作者主要介绍了两种重采样方法：交叉验证（cross-validation）和自助法（bootstrap）。

2.1 交叉验证（cross-validation）

在样本量不足时，训练误差虽然容易计算，但往往会低估真实的测试误差。由于测试误差是衡量模型性能的关键指标，我们需要寻找有效的方法来更准确地预估模型在样本不充裕时的性能。
一般来说，有两种方法来解决上面的问题：
1）通过对计算训练误差的传统数学公式进行适当的修正和调整（比如对样本权重的调整等），我们可以尝试直接获得一个近似的测试误差估计。（Some methods make a mathematical adjustment to the training error rate in order to estimate the test error rate）
2）这一部分，我们将重点介绍“留一手”（Hold-Out）方法，这是一种常用的策略来估计模型的测试误差。通过留一手方式，我们将原始数据集划分为训练集和验证集（或称为测试集）。训练集用于训练模型，而验证集则用于评估模型的性能，即计算测试误差。这种方法的核心思想是将部分数据保留下来，不参与模型的训练过程，以确保评估结果的客观性和准确性。（In this section, we instead consider a class of methods that estimate the test error rate by holding out a subset of the training observations from the fitting process, and then applying the statistical learning method to those held out observations）

2.1.1 验证集法

验证集法（The Validation Set Approach）非常简单粗暴，即把样本集随机拆成两份，一份用于训练模型，另一份用于验证模型，用验证误差来代替真实的测试误差。（It involves randomly dividing the available set of observations into two parts, a training set and a validation set or hold-out set）

在本章中，作者以“汽车数据集”为例，展示了如何使用$horsepower$(马力）来预测$mpg$(每加仑英里数)。鉴于这两个变量之间存在非线性关系，在第三章（下）中，我们采用$horsepower$和$horsepowe{r}^2$作为预测因子，并取得了良好的预测效果。自然地，我们可能会思考是否加入$horsepowe{r}^3$会进一步提升预测性能。在第三章中，我们可以通过观察p-value的大小来决定是否引入新的预测因子，如果$horsepowe{r}^3$对应的p-value不再显著，则表明其可能不适合加入模型。在本章中，我们将采用一种不同的方法——【验证集】法，来进行这一判断。

下面的左图展示了仅进行一次数据集划分的情况。随着模型中 h o r s e p o w e r