牛顿法、梯度下降法、随机梯度下降法、共轭梯度法

梯度：

函数f(x)在某一点的梯度指向最大化f(x)的方向

目标：

f(x)=E(x)^2=0;

牛顿法：

X(i+1)=X(i)-f(x)/f`(x);

梯度下降法：

X(i+1)=X(i)-r*f`(x);

随机梯度下降法：

X(i+1)=X(i)-r*f`(xi);

共轭梯度法