关于梯度下降batch-GD，SGD，Mini-batch-GD，Stochastic GD，Online-GD的介绍

梯度下降：是求一个函数最小值的一阶迭代优化算法。 为了使用梯度下降找到函数的局部最小值，可以采取与当前点的函数的梯度（或近似梯度）的负值成比例的步骤。 如果取而代之的是与梯度正相关的步骤，则接近该函数的局部最大值; 该程序然后被称为梯度上升。
梯度下降也被称为最速下降。 但是，梯度下降不应该与用于近似积分的最陡下降的方法混淆。
batch、mini-batch、SGD、online的区别在于训练数据的选择上的不同：

1.batch GD
每次迭代的梯度方向由所有训练样本共同投票决定
batch GD的损失函数是：

训练算法为：
batch GD算法是计算损失函