转载请注明出处：http://www.codelast.com/ 最速下降法（又称梯度法，或Steepest Descent），是无约束最优化领域中最简单的算法，单独就这种算法来看，属于早就“过时”了的一种算法。但是，它的理念是其他某些算法的组成部分，或者说是在其他某些算法中，也有最速下降法的“影子”。因此，我们还是有必要学习一下的。 我很久以前已经写过一篇关于最速下降法的文章了，但是这里

转载请注明出处：http://www.codelast.com/ 对精确的line search（线搜索），有一个重要的定理： ∇f(xk+αkdk)Tdk=0 这个定理表明，当前点在dk方向上移动到的那一点（xk+αkdk）处的梯度，与当前点的搜索方向dk的点积为零。 其中，αk是称之为“步长”的一个实数，它是通过line search算法求出来的。

转载须注明出处：http://www.codelast.com/   在最优化的领域中，这“法”那“法”无穷多，而且还“长得像”——名字相似的多，有时让人觉得很迷惑。 在自变量为一维的情况下，也就是自变量可以视为一个标量，此时，一个实数就可以代表它了，这个时候，如果要改变自变量的值，则其要么减小，要么增加，也就是“非左即右“，所以，说到“自变量在某个方向上移动”这个概念的时候，它