机器学习中的数学

一、导数与微分

1、导数的定义

本质：导数描述的是函数在一点处的变化快慢的趋势，是一个变化的速率。如曲线方程的导数是随点变化的斜率，运动方程的导数是随时间变化的速率

2、微分的定义

本质：微分描述的是函数从一个点移动到另一个无穷小的点所产生的变化量

二、偏导数

三、方向导数和梯度的关系

1、方向导数

2、梯度

3、方向导数和梯度的关系

4、结论

曲面中点的方向导数有无数个，当方向导数与梯度方向一致时，该导数数值取得最大，等价于该点在梯度方向具有最快的变化值。梯度方向是函数值增加最快的方向，梯度的反方向是函数值减少最快的方向。