梯度下降法

一、方向导数与梯度的概念

方向导数是一个值而梯度是一个向量
1、方向导数
对于多元函数，如果说偏导数表示的是多元函数在沿坐标轴的变化率，那么可以说方向导数是沿着任意一指定方向的变化率，不一定是沿着坐标轴。
方向导数的数学表达式：$${\frac{\partial f}{\partial l}|}_{\left(x_0,y_0\right)}=\underset{t\to 0^{+}}{\lim }\frac{f\left(x_0+t\cos \alpha ,y_0+t\cos \beta \right)-f\left(x_0,y_0\right)}{t}$$其中对于$l$的单位向量是$e=(\cos \alpha ,\cos \beta )$,而这正表示函数$f$沿着$l$方向的变化率。当我们让$e=(1,0)$时上述式子其实是$f$对于$x$的偏导数，即沿着$x$轴的变化率，而当让$e=(1,0)$时，上述式子便是$f$对于$y$的偏导数，即沿着$y$轴的变化率.对于二元函数，给出求方向导数的公式：$${\frac{\partial f}{\partial l}|}_{\left(x_0,y_0\right)}=f{\left(x_0,y_0\right)}_x\cos \alpha +f{\left(x_0,y_0\right)}_y\cos \beta$$解释这个式子:方向导数等于函数在$x$处的偏导数乘以单位向量的$x$部分加上在$y$处的偏导乘以单位向量的部分，得到的值就是方向导数。从中也可以看出要求方向导数要先求它在$x$和$y$的偏导数，然后再求它方向的单位向量，最后做乘积加和得到结果。
2、梯度
在二元函数的情形下，如果函数$f(x,y)$具有一阶连续偏导，对于函数任意一点 $p(x_0,y_0)$都有这样一个向量:$f{\left(x_0,y_0\right)}_{x}i+f{\left(x_0,y_0\right)}_{y}j$，那么这个向量就称为$f(x,y)$在$p$这一点的梯度。记作$\mathrm{grad}f\left(x_0,y_0\right)$.
可以通过公式直观地看方向导数和梯度的关系：
$$\begin{array}{rl}{\frac{\partial f}{\partial l}|}_{\left(x_0,y_0\right)}& =f{\left(x_0,y_0\right)}_x\cos \alpha +f{\left(x_0,y_0\right)}_y\cos \beta \\ =& \mathrm{grad}f\left(x_0,y_0\right)\cdot e_l=\left|\mathrm{grad}f\left(x_0,y_0\right)\right|\cos \theta \end{array}$$ 当$\theta =0$ 时，$e$与梯度方向相同时，方向导数最大，函数增加最快
当$\theta =\pi$ 时，$e$与梯度方向相反时，方向导数最小，函数减少最快
当$\theta =\frac{\pi }{2}$ 时，$e$与梯度方向垂直时，方向导数为0， 函数变化率为零

二、梯度下降法

梯度法是用负梯度方向$$d_k=-\nabla f\left(x_k\right)$$作为搜索方向的.
设$f(x)$在$x_k$附近连续可微，$d_k$为搜索方向向量,$g_k=\nabla f\left(x_k\right)$，由泰勒展开式得$$f\left(x_k+\alpha d_k\right)=f\left(x_k\right)+\alpha g_k^T{d}_k+o(\alpha ),\alpha >0$$那么目标函数$f(x)$在$x_k$沿方向$d_k$下降的变化率为$$\begin{array}{rl}\underset{\alpha \to 0}{\lim }\frac{f\left(x_k+\alpha d_k\right)-f\left(x_k\right)}{\alpha }& =\underset{\alpha \to 0}{\lim }\frac{\alpha g_k^T{d}_k+o(\alpha )}{\alpha }\\ & =g_k^T{d}_k=\Vert g_k^T\Vert \Vert d_k\Vert \cos {\theta }_k\end{array}$$式中${\theta }_k$为$g_k$与$d_k$的夹角。
对于不同的方向$d_k$，函数变化率取决于它与$g_k$夹角的余弦值，要使变化率最小，只要$\cos {\theta }_k=-1$，即${\theta }_k=\pi$时才能达到，亦即$d_k$应取负梯度方向，即负梯度方向是函数$f(x)$在当前点的最速下降方向。