如何选取Batch Size大小

Batch Size大小的选取：

1. 可以一次将数据集中所有数据喂给网络
2. 可以一次喂一个样本（即SGD）
3. 每次喂一部分数据，喂多次

第一种：将参数一次更新数据集大小的数据量
第二种：将参数迭代更新数据集大小次

Q：选哪一种大小？

适当增加Batch Size大小的优点：

1. 通过并行化提高内存利用率。
2. 单次epoch的迭代次数减少，提高运行速度。（单次epoch=（全部训练样本/batchsize） / iteration =1）
3. 适当的增加Batch_Size，梯度下降方向准确度增加，训练震动的幅度减小。