梯度和方向导数

梯度和方向导数的概念在 ML和数字图像处理中有着广泛的应用，但每次看了之后又很容易忘记，转一篇文章记录下

转载出处：http://blog.163.com/cindy_19810217/blog/static/201059118201111169320477/

1. 梯度：为了标记两个一阶偏导数，而取的一个特殊名称。

函数f(x, y)的梯度定义为：，和分别是x和y方向上的切线斜率。

如何求其他方向上的斜率呢？

2 . 方向导数：

首先在xoy平面上取一个单位向量，指向平面上任何一个方向，我们把函数f在u所指的方向上的变化率，定义为方向导数，用来表示。换句话说，就是在包含u的垂直平面上的那条切线的斜率。

注意：这里的是只有方向的单元向量，这样才能用点积这么算。

此公式的极限含义：

3. 梯度与方向导数的关系：

我们要寻找使方向导数最大的单位向量u,此时切线斜率是最大的。根据点积计算公式，当u与的夹角为0度时，为最大值。因此方向导数的最大值就是顺着方向。此时有 :