31、机器学习模型评估与性能提升

机器学习模型评估与性能提升

1. 模型性能评估方法

在机器学习中，准确评估模型性能至关重要。以下介绍几种常见的评估方法。

1.1 重复留出法（Repeated Holdout）

重复留出法是一种用于缓解随机组成训练数据集问题的技术。它是留出法的特殊情况，通过多个随机留出样本的平均结果来评估模型性能。由于使用了多个留出样本，模型在非代表性数据上进行训练或测试的可能性降低。

1.2 交叉验证（Cross - validation）

重复留出法是 k 折交叉验证（k - fold CV）的基础，k 折交叉验证已成为估计模型性能的行业标准。它将数据随机分成 k 个完全独立的随机分区，称为折（folds）。

• 10 折交叉验证（10 - fold CV） ：最常见的做法是使用 10 折交叉验证。对于每一个折（占总数据的 10%），使用其余 90%的数据构建机器学习模型，然后用该折的 10%样本进行模型评估。经过 10 次训练和评估过程（10 种不同的训练/测试组合）后，报告所有折的平均性能。
• 留一法（Leave - one - out） ：k 折交叉验证的极端情况，为数据中的每个示例使用一个折。这确保了最大量的数据用于训练模型，但计算成本极高，实际中很少使用。

以下是使用 R 语言的 caret 包创建 10 折交叉验证数据集的示例代码：

# 创建 10 折
folds <- createFolds(c