梯度下降法

梯度下降法Gradient Descent是求解无约数最优化问题的一种最常见的方法。

假设$f(x)$是$R^n$上具有一阶连续偏导数的函数，要求解的无约束最优化问题是：$$mi{n}_{x\in R^n}f(x)\text{\hspace{1em}(1)}$$

$x^{\ast }$表示目标函数$f(x)$的极小点

由于负梯度方向是函数值下降最快的方向，每一步迭代中，以负梯度方向更新$x$的值，从而达到减小函数值得目的

由于$f(x)$有一阶连续偏导数，若第$k$次迭代值为$x^{(k)}$，则可将$f(x)$在$x^{(k)}$附近进行一阶泰勒展开：$$f(x)=f(x^{(k)})+g_k^T(x-x^{(k)})\text{\hspace{1em}(2)}$$

这里，$g_k=g(x^{(k)})=\nabla f(x^{(k)})$为$f(x)$在$x^{(k)}$的梯度。

求出第$k+1$次迭代值$x^{(k+1)}$: $$x^{(k+1)}=x^{(k)}+\lambda p_k\text{\hspace{1em}(3)}$$

其中，$p_k$是搜索方向，取负梯度方向$p_k=-\nabla f(x^{(k)})$，${\lambda }_k$是步长，由一维搜索确定，即${\lambda }_k$使得$$f(x^{(k)}+{\lambda }_k{p}_k)=mi{n}_{\lambda >=0}f(x^{(k)}+\lambda p_k)\text{\hspace{1em}(4)}$$

梯度下降法算法流程：

输入：目标函数$f(x)$，梯度函数$g(x)=\nabla f(x)$，计算精度$ϵ$

输出：$f(x)$的极小值点$x^{\ast }$

(1) 取初始值$x^{(0)}\in R^n$，置$k=0$

(2) 计算$f(x^{(k)})$

(3) 计算梯度$g(x)=\nabla f(x)$，当$||g_k||<ϵ$时，停止迭代，令$x^{\ast }=x^{(k)}$；否则，令$p_k=-g(x^{(k)})$，求${\lambda }_k$使得$$f(x^{(k)}+{\lambda }_k{p}_k)=mi{n}_{\lambda >=0}f(x^{(k)}+\lambda p_k)$$

(4) 置$x^{(k+1)}=x^{(k)}+{\lambda }_k{p}_k$，计算$f(x^{(k+1)})$

当$||f(x^{(k+1)})-f(x^{(k)})||<ϵ$或$||x^{(k+1)}-x^{(k)}||<ϵ$时，停止迭代，令$x^{\ast }=x^{(k+1)}$

(5) 否则，$k=k+1$，转(3)

当目标函数是凸函数时，梯度下降法的解是全局最优解。一般情况下，其解不保证全局最优。梯度下降法的收敛速度也未必很快。