数学原理之机器学习中的梯度概念

导数：

一个函数在某一点的导数描述了这个函数在这一点附近的变化趋势和变化率，以物体的上抛运行为例，其(位置－时间)，(速度－时间)，以及(加速度－时间)的曲线可以用下图表示：

其中(速度－时间)曲线是(位置－时间)曲线在每一点的导数的值的集合，同样道理，(加速度－时间)曲线是由(速度－时间)求导得到。

以图为例，一开始，位置的变化率比较快，反映的是速度曲线的速度值比较大，随着时间推进，位置曲线随时间的变化率逐渐变小，以至于最终达到最高点和水平x轴平行，速度则逐渐减小到０，标识速度逐渐趋于小以至于达到０，对应物体达到上抛物最高点速度变为０静止。

位置函数达到最高点后，速度变化率开始从小变大，对应速度曲线从０开始逐渐变大，符号标识方向和上抛相反，最终在4秒时刻，物体到达原来抛物位置。速度达到最大，也就是上抛给定的初始速度。

同样的分析，速度曲线是一条斜率为-２的直线，表示速度的变化率和变化趋势是-2,在整个过程中稳定变化，在物理里面有一个专门的名字描述它，叫做加速度。

所以加速度曲线是一个固定的常数值.

多元函数:

初等数学遇到的大部分是一元函数的情况，也就是导致因变量产生变化的因素只有一个，但大多数情况下，决定因变量的因素可能并非只有一个，以某个地区的房价为例，导致房价变动的因素还可能包括，面积，学区划分，地段，交通，城市规模等等。每个因素也可以作为自变量，自变量不为１个的函数叫做多元函数。

偏导数:

　　第一条说了，导数是函数值关于自变量的变化率，但是多元函数有多个自变量，每个自变量可以独立自由变化，那么它的函数值的变化率该如何得到呢？

　还是以房价为例，如果房价和面积，交通，学区三个因素有关，

, x代表面积，y代表交通，z标识学区。
可考虑先把交通和学区固定，考虑面积的微小变化对房价产生的影响，表示成:

同理，分别再把面积和交通固定，以及面积和学区固定在某一个点，得到分别对于交通和学区的变化率.

这种在多元函数中，将其他变量看做常数，按照求导法则，计算针对某个变量的导数，叫做偏导数.偏导数每次只使一个自变量发生变化，所以计算过程和计算一元函数的导数过程无异。

说到这里，实际上已经和梯度发生联系了，