深度学习入门：epoch 和 iteration 【配合“动手学深度学习”补充使用】

在深度学习中，“epoch”指的是对整个训练数据集进行一次完整的遍历。在一个epoch期间，学习算法会处理数据集中的每一个示例一次。这个处理通常包括基于模型当前状态做出预测，将这些预测与真实输出进行比较（通常使用损失函数），然后更新模型以改善其性能。

与Epoch相关的关键概念

迭代 Iteration 与Epoch:

迭代是模型参数更新一次的过程，通常是通过处理一批训练示例来完成的。如果训练数据集被分成更小的批次（这是一种常见的做法，用于管理内存使用和改善收敛行为），那么每个批次就是一次迭代。
Epoch则包含了足够多的迭代，以便一次覆盖整个数据集。例如，如果你有1000个训练示例，而你使用的批大小为100，那么一个epoch就包含了10次迭代（1000个示例 / 每批100个示例 = 10批次/epoch）。

Epoch的重要性:

对深度学习模型进行多个epoch的训练是标准做法，因为仅通过整个数据集一次通常不足以学习所有底层模式。
更多的epochs可以导致更好的学习，捕捉到数据中更复杂的模式。然而，过多的epochs可能导致模型过拟合，即学习到的不仅仅是底层模式，还有训练数据中的噪声和不具代表性的特定细节，这些在新数据上不具泛化能力。

监控进度:

在训练期间，常见的做法是在每个epoch后对模型在一个单独的验证集上进行评估，以监控其性能和泛化能力。这有助于确定训练是否仍在改善模型，或者是否开始过拟合。
提前停止:</