用最直白的方式来解释‘批梯度下降’和‘随机梯度下降’

一。求解目标式子：

二。理解批梯度：

1、求J的梯度：

（梯度是向量，每个坐标是J对其取偏导，所以可以认为梯度向量是J对向量求偏导）

**************************************************************************

更正：这个梯度表达式可知，最终梯度下降表达式里面的求m个和是梯度计算中产生的而不是‘迈步子’产生的

**************************************************************************

2、回顾批梯度整体思想：

3、这里注意：

所以一些资料写的批梯度下降的表达式：

二。随机梯度：

可见批梯度每计算一个梯度都需要计算m个量求和，当m很大，这个复杂度过高

再观察梯度表达式：

所以：

两个特征：

（1）可能在某一步之后往回走

（2）无法收敛到极值点但是总是在‘极值周围徘徊’