15、神经网络故障排除与优化策略

神经网络故障排除与优化策略

1. 过拟合处理

过拟合问题不仅仅局限于单个批次的数据。从更全面的角度来看，过拟合遵循深度学习和正则化的一般建议。最佳拟合模型是经过适当正则化的大型模型。简单来说，如果你的深度神经网络无法对训练数据集产生过拟合，那么你应该使用更大的模型。当你拥有一个对训练集过拟合的大型模型后，可以应用正则化来提高验证准确率，尽管训练准确率可能会有所下降。

你可以使用为输入管道编写的 tf.data.Dataset 来测试你的 Keras 模型代码。例如，如果你的训练数据输入管道名为 trainds ，可以使用 batch() 方法提取单批数据。示例代码如下：

BATCH_SIZE = 256
single_batch = trainds.batch(BATCH_SIZE).take(1)

在训练模型时，在 fit() 方法中使用创建的单批数据，而不是完整的 trainds 数据集：

model.fit(single_batch.repeat(),
          validation_data=evalds,
          …)

注意，这里使用 repeat() 方法是为了在训练单批数据时不会耗尽数据，确保在训练过程中不断重复使用这一批数据。其他方面（如验证数据集、