BGD vs SGD vs mini-batch GD

神经网络中梯度下降，更新权值有多种选择，BGD，SGD，mini-batch GD

BGD:所有样本跑一次网络后，更新权值。这种方式优点是，精确，和loss function对应。缺点就是效率不高，慢

SGD：跑一个样本更新一次权值，优点:快，缺点：因为用一个样本就更新权值，很容易就找不到全局最优解。

mini-batch GD：更新跑一定两样本，更新一次权值，结合BGD和SGD综合考虑。

更详细的见 

Deep Learning 最优化方法之SGD