Batch size对模型训练的影响

在模型训练时设置batchsize，实际上是用Batch size大小的数据集上计算得到的梯度近似整个数据集（真实分布）上的真实梯度。

batch小将会引入噪声（噪声影响大）

batch大，则噪声小，对真实梯度的拟合更好，、下降方向更准，同时跑完一次训练集的时间更短。但是注意当梯度足够精确时，没必要使批处理更大而浪费算力。一次整个训练集的时间变短，要想获得相同的精度，需要花费更多的时间，因而参数的修正显得更缓慢。

$$grad=gra{d}^{\ast }+gra{d}_n$$
视
$$\begin{gathered} gra{d}_B=\frac{1}{B}\sum _{b=1}^{B}gra{d}^{(b)} \\ =\frac{1}{B}\sum _{b=1}^B\left(gra{d}^{\ast (b)}+gra{d}_n^{(b)}\right) \\ =\frac{1}{B}\sum _{b=1}^{B}gra{d}^{\ast (b)}+\frac{1}{B}\sum _{b=1}^{B}gra{d}_n^{(b)} \\ =gra{d}^{\ast }+mean(gra{d}_n) \end{gathered}$$

若
$$B_1>>B_2$$
则
$$ratio(gra{d}_{B_1}\to gra{d}^{\ast })>ratio(gra{d}_{B_2}\to gra{d}^{\ast })$$

不仅batch size影响梯度值，lr也会影响梯度值。

batch size与lr的一致性

线性缩放准则，batch size N倍，lr变为N倍。

权重方差不变准则，batch size N倍，lr变为sqrt(N).