30、机器学习模型性能评估方法解析

机器学习模型性能评估方法解析

1. 未来性能估计

在机器学习模型构建过程中，一些 R 语言机器学习包会展示混淆矩阵和性能指标。这些统计信息的目的是提供关于模型再代入误差（resubstitution error）的洞察。再代入误差是指尽管模型直接基于训练数据构建，但仍然错误预测训练数据的情况。这一信息可作为粗略诊断，用于识别明显表现不佳的模型。

不过，再代入误差并非衡量模型未来性能的有效指标。例如，一个通过死记硬背对每个训练实例进行完美分类且再代入误差为零的模型，可能无法将其预测推广到未曾见过的数据上。因此，训练数据的误差率可能会对模型的未来性能过于乐观。

更好的做法是在模型未曾见过的数据上评估其性能。之前我们曾将可用数据划分为训练集和测试集来进行评估。但在某些情况下，创建训练集和测试集并非总是理想的选择。例如，当数据量较小时，可能不希望进一步减少样本量。

幸运的是，有其他方法可以估计模型在未见过数据上的性能。 caret 包不仅可用于计算性能指标，还提供了许多估计未来性能的函数。如果你正在跟随 R 代码示例操作，且尚未安装 caret 包，请先进行安装，并使用 library(caret) 命令将其加载到 R 会话中。

2. 留出法（Holdout Method）

之前我们使用的将数据划分为训练集和测试集的方法称为留出法。其流程如下：

graph LR
    A[原始数据] --> B[划分]
    B --> C[训练集]