导数和梯度

突然出现的疑惑

阅读神经网络通过梯度下降算法进行反向传播优化参数的相关资料时，突然想到权重更新首先是通过输出函数对权重求偏导，之后在原有权重值得情况下进行更新（减去或者加上偏导值），那难道求到的偏导就是梯度嘛，这样岂不是梯度和偏导是同样的含义，梯度和偏导之间又有什么关系呢？

查找资料解惑

最初在网上学习梯度下降时，基本上都会看到资料以“下山”为例来讲解梯度，下山方向最快的方向就是梯度方向，最开始只了解到这么一个结论，只理解字面含义，今天又重新查找资料，在知乎（参考https://www.zhihu.com/question/36301367）中看到相关解释，增加了一些自己的理解。

1）函数中的某个点在满足一定条件时会存在多个方向导数，具体条件可查看相关数学理论。
2）其中“导数值”最大的“方向导数”所对应的方向就是梯度方向，该“导数值”就是梯度值。即梯度就是多个方向导数中“值”最大的方向导数。
3）此时也就和“下山”的例子相对应，在某个点下山时有多个下山方向，多个下山方向就对应了多个方向导数，下山最快的方向就是“值”最大的方向导数即梯度方向。