神经网络训练中的epoch、batch、iteration

最新推荐文章于 2025-04-22 16:05:01 发布

转载最新推荐文章于 2025-04-22 16:05:01 发布 · 430 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：https://zhuanlan.zhihu.com/p/29409502

文章标签：

#神经网络训练

神经网络学习笔记专栏收录该内容

5 篇文章

订阅专栏

本文深入解析神经网络训练过程中的核心概念：Epoch, Batch, Iteration，通过实例说明三者的关系及如何影响模型权重的更新。以CIFAR10数据集为例，展示了不同BatchSize对训练迭代的影响。

今天让我们来总结下训练神经网络中最最基础的三个概念：Epoch, Batch, Iteration。
1、名词解释
在这里插入图片描述
2. 换算关系

实际上，梯度下降的几种方式的根本区别就在于上面公式中的 Batch Size不同。

*注：上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。
3. 示例
CIFAR10 数据集有 50000 张训练图片，10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。

每个 Epoch 要训练的图片数量：50000
训练集具有的 Batch 个数：50000/256=195+1=196
每个 Epoch 需要完成的 Batch 个数：196
每个 Epoch 具有的 Iteration 个数：196
每个 Epoch 中发生模型权重更新的次数：196
训练 [公式] 代后，模型权重更新的次数：1960
不同代的训练，其实用的是同一个训练集的数据。第 1 代和第 10代虽然用的都是训练集的五万张图片，但是对模型的权重更新值却是完全不同的。因为不同代的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。