batch size和梯度下降的movement向量

一次epoch里被iteration分，分的大小batch size，一个iteration的batch size个数据来训练，更新loss更新参数，在每个epoch后shuffle，batches改变，即每个iteration的batch size数据改变；
在并行计算时，大的batch size训练时间不一定比较长；
因为大的batch size更新参数少；
大的batch size训练效果可能不好；
一次梯度下降的movement向量，是上一次移动的向量+这一次gradient的负反向量；或者解释说，一次梯度下降的movement向量，是过去所有gradient的总和+这一次gradient的负反向量；