本文详细解析了机器学习中重要的概念——Epoch、Batch Size和Iteration。Epoch是指完整遍历数据集一次，Batch Size定义了每次训练所用样本数量，而Iteration则是指使用一个Batch数据进行一轮训练。由于数据量大，通常需分批训练，Epoch数量与数据集多样性和硬件资源有关。理想的Batch Size等于数据量，但实际操作中往往受限于硬件，导致Epoch数增加。选择合适的Epoch和Batch Size平衡训练效果和计算资源是关键。
Epoch：轮询次数
Batch Size：每次训练的数据大小（因为整个数据被切分为了多次，所以有切分的大小的概念）。
Iteration：一次轮询，即使用这一batch的数据完成一次完整的训练的过程。
①所有的数据，数据量太大，无法一次载入机器进行训练，因此分为多份。 ---batch number
②每一份数据，进行一次完整的训练——即使用反向传播，梯度下降算法，把网络中每个节点的权重和偏置更新一遍。所进行的这一次完整的训练，就是Epoch。 所以Epoch 个数= batch number
③每个batch中的数据的大小，称为batch size
④理想情况下，batch siez=data size，即Epoch=1，训练的效果最好，但是往往做不到（数据量太大，而硬件资源有限） 【硬件资源不够，次数来凑】
⑤Epoch的个数，即把数据切分为几份训练多少次比较合适呢？没有统一的答案，epoch大小与数据集的多样化程度有关，多样化程度越强，epoch应该越大。
下图再帮助复习一下偏差和方差的区别：
扫一扫
707
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
