机器学习中Batch Size、Iteration和Epoch的概念

本文深入解析了机器学习中BatchSize、Iteration和Epoch的概念,探讨了它们如何影响神经网络的训练过程,包括权重更新、拟合状态及过拟合现象。通过对比不同设置下的训练结果,阐述了这些参数的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

机器学习中Batch Size、Iteration和Epoch的概念

Epoch一个epoch指代所有的数据送入网络中完成一次前向计算及反向传播的过程。由于一个epoch常常太大,计算机无法负荷,我们会将它分成几个较小的batches。那么,为什么我们需要多个epoch呢?我们都知道,在训练时,将所有数据迭代训练一次是不够的,需要反复多次才能拟合收敛。在实际训练时,我们将所有数据分成几个batch,每次送入一部分数据,梯度下降本身就是一个迭代过程,所以单个epoch更新权重是不够的。下图展示了使用不同个数epoch训练导致的结果。

在这里插入图片描述

可见,随着epoch数量的增加,神经网络中权重更新迭代的次数增多,曲线从最开始的不拟合状态,慢慢进入优化拟合状态,最终进入过拟合。因此,epoch的个数是非常重要的。那么究竟设置为多少才合适呢?恐怕没有一个确切的答案。对于不同的数据库来说,epoch数量是不同的。但是,epoch大小与数据集的多样化程度有关,多样化程度越强,epoch应该越大。Batch Size所谓Batch就是每次送入网络中训练的一部分数据,而Batch Size就是每个batch中训练样本的数量上文提及,每次送入训练的不是所有数据而是一小部分数据,另外,batch size 和batch numbers不是同一个概念~Batch size大小的选择也至关重要。为了在内存效率和内存容量之间寻求最佳平衡,batch size应该精心设置,从而最优化网络模型的性能及速度。下图为batch size不同数据带来的训练结果,其中,蓝色为所有数据一并送入训练,也就是只有1个batch,batch内包含所有训练样本。绿色为minibatch,即将所有数据分为若干个batch,每个batch内包含一小部分训练样本。红色为随机训练,即每个batch内只有1个训练样本。

在这里插入图片描述

上图可见,蓝色全数据效果更好,当数据量较小,计算机可以承载的时候可以采取这种训练方式。绿色的mini分批次训练精度略有损失,而红色的随机训练,难以达到收敛状态。Iterations所谓iterations就是完成一次epoch所需的batch个数。刚刚提到的,batch numbers就是iterations。简单一句话说就是,我们有2000个数据,分成4个batch,那么batch size就是500。运行所有的数据进行训练,完成1个epoch,需要进行4次iterations。

作者:XDTY17_LK
链接:https://www.jianshu.com/p/e5076a56946c/
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

epoch表示迭代周期,batchs表示批次数,一个epoch表示模型遍历并处理过所有样本一次;

batch表示批次数,批次数 = 样本个数 /batchSize ;

batchSize表示批次大小,如bathSize=5,代表模型处理完5个样本后,进行一次前向传播和反向传播;

step表示模型步数。step = epoch * batchSize。

https://blog.youkuaiyun.com/taylar1357/article/details/89303983

### 批处理大小与迭代次数的关系 在机器学习训练过程中,批处理大小(batch size迭代次数(iterations)是两个重要的超参数。批处理大小决定了每次更新模型权重时使用的样本数量[^1]。 当设定较小的批处理大小时,梯度估计会更加不稳定,因为这些估计基于较少的数据点。然而,这可能会使优化过程更有可能逃离局部极小值并找到更好的解。另一方面,较大的批处理可以提供更为稳定的梯度下降路径,从而加快收敛速度,但也可能导致过早陷入次优解附近徘徊的情况。 对于迭代次数而言,在给定相同数量的总样例下,减小批次规模意味着增加每轮训练中的步数或迭代次数。具体来说: - 如果批量大小为 `N` 并且整个数据集中有 `D` 个实例,则完成一次完整的遍历(epoch),需要执行大约 \( \frac{D}{N} \) 次权重更新操作。 因此,调整这两个参数之间存在权衡关系:减少批尺寸通常伴随着更多频繁但可能不那么精确的方向修正;而增大它则相反——虽然减少了方向变化频率却提高了单次决策的质量[^3]。 为了合理配置这两者,实践中常用的方法是从默认推荐值开始尝试,并依据实际性能表现逐步微调直至获得满意的结果。此外,也可以采用自动化工具技术来进行系统的超参数搜索以发现最佳组合[^2]。 ```python import numpy as np def calculate_iterations_per_epoch(dataset_size, batch_size): """计算每个 epoch 的迭代次数""" return int(np.ceil(dataset_size / batch_size)) dataset_size = 10000 # 数据集大小 for batch_size in [32, 64, 128]: iterations = calculate_iterations_per_epoch(dataset_size, batch_size) print(f'Batch Size {batch_size}: Iterations per Epoch -> {iterations}') ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值