9、机器学习中的超参数优化与评估指标

机器学习中的超参数优化与评估指标

1. 数据划分

在机器学习中，通常将数据集划分为两部分：一部分用于超参数验证，另一部分用于最终模型验证。例如，预留 10 个数据点用于验证，10 个用于最终测试，这就是 80/10/10 的数据划分。

2. 测试集的必要性

超参数优化方法本身是一种学习算法，用于设置不可微的量，而这些量不易用基于微积分的分析方法处理。超参数学习算法的“训练集”就是预留的验证集。

一般来说，在训练集上评估模型性能意义不大，因为学习到的量必须具有泛化能力，所以有必要在不同的数据集上测试性能。由于训练集用于基于梯度的学习，验证集用于超参数学习，因此测试集对于评估学习到的超参数对新数据的泛化能力是必要的。

3. 黑盒学习算法

黑盒学习算法不假设要优化的系统具有任何结构信息。大多数超参数方法都是黑盒方法，适用于任何类型的深度学习或机器学习算法。

与白盒方法（如梯度下降）相比，黑盒方法的扩展性较差，因为它们在高维空间中容易迷失方向。由于缺乏梯度提供的方向信息，黑盒方法在 50 维空间中就可能会迷失方向（实际上，优化 50 个超参数是非常具有挑战性的）。

假设存在 50 个超参数，每个超参数有 3 个潜在值，那么黑盒算法必须盲目搜索一个大小为 (3^{50}) 的空间。虽然可以完成搜索，但通常需要大量的计算能力。

4. 评估指标的重要性

在选择超参数时，我们希望选择那些能使所设计的模型更准确的超参数。在机器学习中，指标是衡量训练模型预测准确性的函数。超参数优化的目的是找到能在验证集上最大化（或最小化）该指标的超参数。