“梯度下降法”理解

在学习神经网络的时候，反向传播，通常会用到梯度下降法去更新权值使得在不断迭代的过程中使得每层网络权值不断调整直到损失函数落入最小值（局部或全局）。

梯度下降法的基本公式是：

$$w:=w-\eta\bigtriangledown{E}$$
其中 $E$为损失函数， $\eta$为步长，下面解释上式如何理解，需要从方向导数开始讲起。

方向导数

偏导数反映的是函数研坐标轴方向的变化率，但仅考虑函数沿坐标轴方向但变化率是不够的。例如热空气要向冷空气的地方流动，气象学中就要确定大气温度、气压沿着某些方向的变化率。因此我们有必要来讨论函数沿任一指定方向的变化率问题。

如下图，$l$是$xOy$平面上过$P_0$点的直线，$\vec{e_l}$为与直线$l$同方向的单位向量，$\vec{e_l}=(\cos\alpha,\cos\beta)$

则射线$l$的参数方程为：

$$\begin{cases} x = x_0 + t\cos\alpha， \\ y = y_0 + t\cos\beta \end{cases}\ (t\geq0)$$

则定义：
当$P$沿$l$趋于$P_0$（即$t→0^+$）时的极限存在，那么称此极限为函数$f(x,y)$在点$P_0$沿方向$l$的方向导数，记作$\dfrac{\partial f}{\partial l}|_{(x_0,y_0)}$，即

∂f∂l|(x0,y0)=limt→0+f(x0+tcosα,y0+tcosβ)−f(x0,