4、机器学习与监督学习入门

机器学习与监督学习入门

1. 数据集划分与交叉验证方法

在机器学习中，通常会将数据集分割为训练集和测试集，然后反复进行训练、测试和模型选择。以下介绍几种常见的交叉验证方法：

1.1 简单交叉验证

简单交叉验证方法包含以下步骤：
1. 数据划分 ：随机将给定数据分为两部分，一部分作为训练集，另一部分作为测试集。例如，可将 70%的数据用作训练集，30%的数据用作测试集。
2. 模型训练 ：在各种条件下（如不同的参数数量）使用训练集训练模型，从而得到不同的模型。
3. 模型选择 ：在测试集上评估每个模型的测试误差，并选择测试误差最小的模型。

1.2 S 折交叉验证

最常用的方法是 S 折交叉验证，具体步骤如下：
1. 数据分割 ：首先，将给定数据随机划分为 S 个大小相同且不相交的子集。
2. 训练与测试 ：使用 S - 1 个子集的数据训练模型，并用剩余的子集测试模型。
3. 重复操作 ：对 S 种可能的选择重复此过程。
4. 模型选择 ：最终，选择在 S 次评估中平均测试误差最小的模型。

1.3 留一法交叉验证

S 折交叉验证的一种特殊情况是 S = N，称为留一法交叉验证，常用于数据不足的情况。这里的 N 指的是给定数据集的容量。

下面用