【机器学习】梯度下降法的证明

梯度下降法，又称最速下降法、梯度法

无约束最优化领域中最简单的算法

下降后的函数值，寻找下降的方向d

1.     名字释义

最速下降法只使用目标函数的一阶导数信息，并且，它的本意是取目标函数值“最快下降”的方向作为搜索方向。

2.     函数值下降最快的方向

先说结论：沿负梯度方向  d=−gk ，函数值下降最快。

证明：

对做一节泰勒展开：

PS：一阶泰勒展开式一般形式

是常数，忽略。即求让最小的d。

又有柯西不等式，得：

且当d=gk时，取得最大值。所以g=-gk时，取得最小值，此时f（x）的下降量最大，即-gk是下降最快的方向。

3.     缺点

只在局部范围内具有“最速”性质，对于整体求解过程而言，速度是非常缓慢