【机器学习】Epoch（训练轮数）和Step（迭代次数）

Epoch（训练轮数）和Step（迭代次数） 是深度学习和机器学习中训练模型时的两个重要概念，它们用于描述模型训练过程中的不同阶段和步骤。理解它们的含义以及两者之间的区别，有助于更好地掌握模型的训练过程和调试。

一、Epoch（训练轮数）的含义

• 一个Epoch是指模型在训练过程中遍历整个训练数据集一次的过程。

• 如果训练数据集包含 10,000 个样本，那么一个 Epoch 就是模型在这 10,000 个样本上完成一次 前向传播(forward pass) 和 反向传播(backward pass) 的过程。

• 在一个 Epoch 中，模型会看到每一个训练样本一次，并有机会对所有数据进行学习。

二、Step（迭代次数）的含义

• 一个Step（也称为Iteration，迭代）是指模型在训练过程中使用一个批次（batch）数据进行一次参数更新的过程。

• 详细解释：

  • 在深度学习中，为了高效利用计算资源和提高训练速度，通常不会将整个数据集一次性输入模型进行训练，而是将数据集拆分成多个小的批次（Batch）。
  • 每处理一个 Batch，模型进行一次前向传播、计算损失、反向传播，并更新参数，这就是一个 Step。
  • Step 的数量通常等于训练数据集的总样本数除以批次大小（Batch Size）。

• 公式：
  $$\text{Steps Per Epoch}$$