训练神经网络时如何确定batch size？

最新推荐文章于 2024-06-24 15:01:40 发布

原创

最新推荐文章于 2024-06-24 15:01:40 发布 · 842 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #神经网络 #机器学习

文章探讨了在训练神经网络时如何选择合适的batch size，解释了不同大小的batch如何影响收敛速度。通过分析神经网络的一次迭代过程和相关代码示例，指出大的batch size可能会减慢训练速度，暗示了适中batch size的重要性。

这里写自定义目录标题

问题

问题

超参里的 Batch Size 如何影响到收敛速度？

过程：首先选择n个样本组成一个batch，然后将batch丢进神经网络，得到输出结果。再将输出结果与样本label丢给loss函数算出本轮的loss。

最直观的超参数就是batch的大小——我们可以一次性将整个数据集喂给神经网络，让神经网络利用全部样本来计算迭代时的梯度（即传统的梯度下降法），也可以一次只喂一个样本（即随机梯度下降法，也称在线梯度下降法），也可以取个折中的方案，即每次喂一部分样本让其完成本轮迭代（即batch梯度下降法）。

哪种做法收敛更快呢？

神经网络的一次迭代过程

代码

%matplotlib inline
import d2lzh as d2l
from mxnet import autograd, gluon, nd
from mxnet.gluon import data as gdata, loss as gloss, nn

n_train, n_test, true_w, true_b = 100, 100, [1.2, -3.4, 5.6], 5
features = nd.random.normal(shape=(n_train + n_test, 1))
poly_features = nd.concat(features, nd.power(features, 2),
                          nd.power(features, 3))
labels = (true_w[0] * poly_features[