机器学习0007 每次应该训练多少数据batch_size应该设成多少

机器学习0007 每次应该训练多少数据batch_size应该设成多少

下面是整理的一些经验：

1.batch_size 的值越大，训练（收敛）速度越快；batch_size 的值越小，训练（收敛）速度越慢。

2.batch_size 的值越小，模型泛化能力越好；batch_size 的值越大，模型泛化能力越差。

3.batch_size=1时，模型很难收敛，可能不收敛。只有很特殊的情况下才可以收敛。

一般情况下，batch_size 应该设置成2^n。网上有人说是方便内存/显存分配，GPU在这2^n的条件下，速度会更快。batch不能太大，也不能太小。

综上所述：batch_size的推荐值是32，64，128