26、深度学习者泛化能力的教学与正则化方法

深度学习者泛化能力的教学与正则化方法

1. 模型评估方法

1.1 留出法（Hold-Out）

留出法是一种简单且高效的模型评估方法。在这种方法中，会将一部分实例用于构建训练模型，而剩余的实例（即留出实例）则用于测试。最终，会将预测留出实例标签的准确率报告为整体准确率。

这种方法的优点在于，它能确保报告的准确率不是过拟合特定数据集的结果，因为训练和测试使用的是不同的实例。然而，它也存在一定的局限性，会低估真实准确率。例如，当留出的示例中某一特定类别的出现频率高于标记数据集时，这意味着保留用于训练的示例中该类别的平均出现频率较低，从而导致训练数据和测试数据之间出现不匹配的情况。此外，保留示例的类别频率总是与留出示例的类别频率呈反比关系，这会导致评估中出现一致的悲观偏差。尽管存在这些弱点，但由于其简单高效的特点，留出法在大规模场景中仍是一种常用的选择。

1.2 交叉验证法（Cross-Validation）

交叉验证法是将标记数据划分为q个相等的部分。每次选取其中一个部分用于测试，其余（q - 1）个部分用于训练。这个过程会重复q次，每次都将不同的部分作为测试集。最后，会报告这q个不同测试集的平均准确率。

当q值较大时，这种方法能够较为准确地估计真实准确率。其中一种特殊情况是q等于标记数据点的数量，即每次只使用一个点进行测试，这种方法被称为留一法交叉验证（leave-one-out cross-validation）。虽然这种方法能很好地近似准确率，但由于需要多次训练模型，成本通常过高。实际上，由于效率问题，交叉验证法在神经网络中使用较少。

1.3 大规模训练的问题

在神经网