16、深度学习中的过拟合与检查点策略

深度学习中的过拟合与检查点策略

过拟合的整体视角

过拟合不仅仅局限于一个批次的数据。从更全面的角度来看，过拟合遵循深度学习和正则化的一般建议。最佳拟合模型是经过适当正则化的大型模型。简而言之，如果你的深度神经网络无法对训练数据集产生过拟合，那么你应该使用更大的模型。当你有一个对训练集过拟合的大型模型时，你可以应用正则化来提高验证准确率，尽管训练准确率可能会下降。

你可以使用为输入管道编写的 tf.data.Dataset 以如下方式测试你的 Keras 模型代码。例如，如果你的训练数据输入管道名为 trainds ，我们将使用 batch() 提取单个数据批次。示例的完整代码如下：

BATCH_SIZE = 256
single_batch = trainds.batch(BATCH_SIZE).take(1)

然后，在训练模型时，在 fit() 方法中使用我们创建的单个批次，而不是调用完整的 trainds 数据集：

model.fit(single_batch.repeat(),
          validation_data=evalds,
          …)

请注意，我们应用 repeat() 是为了在对单个批次进行训练时不会耗尽数据。这确保了我们在训练时反复使用这一个