梯度下降法 简记

又看到 又用到 梯度下降法

再次总结

一个变量x 一个函数 f（x）

梯度下降法就是为了迭代出 一个x 是的在x点 f（x）能取到极值。

一般来说 是f（x）的导数为零的点 就是这个x的取值 但是方程不好解 所以我们不解方程 我们用迭代

x(k+1)=x(k)-Ita*deta_f（x）

deta_f（x）怎么求？就是增量怎么求？

首先明白增量是什么？

deta_f（x）=g（x(k)）就是x(k)在g（x）处的取值，g（x）就是f(x)的导数的负值 也就是负梯度方向 也就是最快的下降方向。

 

Ita步长：取值一般去 能够使f（x(k+1)）最小的 步长 0.001 http://blog.youkuaiyun.com/yudingjun0611/article/details/8147046

 

白话：

 

负梯度方向本来就是函数 减小的方向 延这个方向 不断根据步长来时x往x*方向靠 当然 会收敛。

步长太小 就会出现局部极小的现象 就像一个小坑里跳不出来，步长大一些就可以跳过局部极值 但是会在 极值左右不断震荡。