14、模型性能评估与超参数选择

模型性能评估与超参数选择

1. 正则化与模型选择

正则化在模型性能评估中起着重要作用。假设有三条拟合曲线，每条都精确通过数据点，其训练损失均为零。但我们通常期望像图（a）中那样的平滑曲线在新数据上的泛化能力远优于图（b）和（c）中的不规则曲线。任何使模型倾向于具有相似训练损失的部分解的因素都被称为正则化因子。

可能存在两种情况导致这种现象：
- 网络初始化可能促使模型具有平滑性，并且在训练过程中模型不会偏离平滑函数的子域。
- 训练算法可能“偏好”收敛到平滑函数。因此，训练算法可能充当了隐式的正则化因子。

2. 超参数选择的挑战

在经典模型中，我们难以获取偏差（需要知道真实的底层函数）和方差（需要多个独立采样的数据集进行估计）。而在现代模型中，我们也无法确定在测试误差停止改善之前应该增加多少模型容量。

对于深度网络，模型容量取决于隐藏层的数量、每层的隐藏单元数量以及网络架构的其他方面。同时，学习算法及其相关参数（如学习率）也会影响测试性能。这些元素统称为超参数，寻找最佳超参数的过程称为超参数搜索。

超参数通常通过经验选择，我们在相同的训练集上训练多个具有不同超参数的模型，测量它们的性能，并保留最佳模型。但我们不会在测试集上测量性能，而是引入验证集。具体步骤如下：
1. 对于每一组超参数选择，使用训练集训练相关模型。
2. 在验证集上评估模型性能。
3. 选择在验证集上表现最佳的模型，并在测试集上测量其性能。

然而，超参数空间通常较大，且许多超参数是离散的，或者彼此之间存在条件依赖关系，因此不能依赖梯度下降方法。超参数优化算法需要根据先前的结果智能地