Taylorandy的博客

基本概念梯度下降法又被称为最速下降法(Steepest descend method)，其理论基础是梯度的概念。梯度与方向导数的关系为：梯度的方向与取得最大方向导数值的方向一致，而梯度的模就是函数在该点的方向导数的最大值。梯度下降算法事实上是求多维函数的在某一点收敛的极小值，可以用这个算法迭代出在哪个点收敛，也是求最小二乘问题的一种方法。先在脑海中想象一下，你站在一座山上，怎么找到最快下山的方法...

配合统计学习方法书籍，更好的理解牛顿法和拟牛顿法，整理的网址如下：牛顿法http://blog.youkuaiyun.com/itplus/article/details/21896453拟牛顿法条件http://blog.youkuaiyun.com/itplus/article/details/21896619DFP算法http://blog.youkuaiyun.com/itplus/article/details...