【CV】深度学习中Epoch, Batch, Iteration的含义

• Epoch
  使用训练集的全部数据样本进行一次训练，称为一次epoch，即所有训练集的样本都在神经网络中进行了一次正向传播和一次反向传播
  神经网络中需要有多次epoch，每次epoch中会进行一次更新权重(weight)，多次epoch后权重多次更新会变得更加准确
  训练集中样本数量可能非常多，所以需要分成很多小块来进行训练，分成的小块就是batch
• Batch
  将所有的训练集的样本分成若干个batch
• Batch_Size
  每个batch的大小
• Iteration（一次迭代）
  训练一个batch就是一次为lteration

batch数量计算公式：
$$batch数量=\frac{trainingSet\_size}{batch\_size}$$

举例↓：原文链接

mnist 数据集有 60000 张图片作为训练数据，10000 张图片作为测试数据。假设现在选择 Batch Size = 100 对模型进行训练。迭代30000次。

• 每个 Epoch 要训练的图片数量：60000(训练集上的所有图像)
• 训练集具有的 Batch 个数： 60000/100=600
• 每个 Epoch 需要完成的 Batch 个数： 600
• 每个 Epoch 具有的 Iteration 个数： 600（完成一个Batch训练，相当于参数迭代一次）
• 每个 Epoch 中发生模型权重更新的次数：600
• 训练 10 个Epoch后，模型权重更新的次数： 600*10=6000
• 不同Epoch的训练，其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的60000图片，但是对模型的权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。
  总共完成30000次迭代，相当于完成了 30000/600=50 个Epoch