7、监督机器学习中的误差分析与模型优化

监督机器学习中的误差分析与模型优化

在监督机器学习中，设计一个具有较小新数据误差（$E_{new}$）的方法是核心目标。为了更好地理解和评估模型性能，我们需要深入分析$E_{new}$，并探讨如何在实践中降低它。

1. 使用测试数据集

在实践中，$E_{k - fold}$（或$E_{hold - out}$）的一个重要用途是在不同方法之间进行选择，并挑选不同类型的超参数，以使$E_{k - fold}$（或$E_{hold - out}$）尽可能小。常见的超参数选择包括$k - NN$中的$k$值、树的深度或正则化参数等。

然而，就像不能用训练数据误差$E_{train}$来估计新数据误差$E_{new}$一样，基于$E_{k - fold}$（或$E_{hold - out}$）选择模型和超参数会使其无法作为$E_{new}$的有效估计器。如果为了最小化$E_{k - fold}$而选择超参数，可能会导致模型对验证数据过拟合，使得$E_{k - fold}$成为实际新数据误差的过于乐观的估计。

为了获得对最终$E_{new}$的良好估计，明智的做法是先预留一个额外的保留数据集，即测试集。这个测试集应该仅在选择模型和超参数之后使用一次，用于估计最终模型的$E_{new}$。

当训练数据获取成本较高时，通常会使用一些人工技术来增加训练数据集。这些技术包括复制数据并添加噪声、使用模拟数据或使用来自不同但相关问题的数据。但使用这些技术后，训练数据$T$可能不再从$p(x, y)$中抽取。在最坏的情况下，如果人工训练数据质量很差，$T$可能无法提供关于$p(x, y)$的任何信息，模型也难以学习到有用的知识。因此，在使用这些技术进行训练时，获得$