机器学习数学基础之微分

导数

定义

$f(x)$在$x_0$附近有定义，且存在极限$$\underset{x\to x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}=L$$
那么$f(x)$在$x_0$处可导，导数$f^{\prime }(x)=L$。

用无穷小量表述：线性逼近

如果存在实数$L$,使得$$f(x)=f(x_0)+L(x-x_0)+o(x-x_0),x\to x_0$$
那么$f(x)$在$x_0$处可导，导数$f^{\prime }(x_0)=L$。
思想重点：在$x_0$附近，可以用$f(x_0)+L(x-x_0)$的线性函数表示，其误差为$o(x-x_0)$,当$x$越接近于$x_0$时，误差就很小很小。

多元函数微分

假设多元函数$f(x,y)$是无穷可微，存在$L_x$和$L_y$,使得
$$f(x，y)=f(x_0,y_0)+L_x(x-x_0)+L_y(y-y_0)+o(|x-x_0|+|y-y_0|),x\to x_0,y\to y_0$$
即用线性函数对$f(x,y)$在$(x_0,y_0)$附近进行逼近，其中$L_x$和$L_y$分别为函数在$(x_0,y_0)$处对$x$和$y$的偏导数。
更为准确的逼近，可以用二阶偏导数和二次函数进行逼近，
$$f(x，y)=f(x_0,y_0)+L_x(x-x_0)+L_y(y-y_0)+L_x{L}_y(x-x_0)(y-y_0)+\frac{1}{2}{L}_{x^2}(x-x_0{)}^2+\frac{1}{2}{L}_{y^2}(y-y_0{)}^2+o(|x-x_0{|}^2+|y-y_0{|}^2),x\to x_0,y\to y_0$$
其中$L_x$,$L_y$,$L_{x^2}$,$L_{y^2}$,分别为函数的一阶和二阶偏导数。
微分的核心思想：就是用简单的线性函数去拟合复杂函数在某一点的函数，当复杂函数的一阶导函数也很复杂时，就继续研究其二阶导，如此往下，用到高阶导数。

泰勒级数

假设$f(x)$无穷可微（在实际工程应用中，都认为是这样的，基本都可以认为研究的函数都是满足条件），则在某一点处$x_0$附近，可以用一个多项式来近似表示。
$$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{1}{2!}{f}^{(2)}(x-x_0{)}^2+\cdots +\frac{1}{n!}{f}^{(n)}(x-x_0{)}^n+o((x-x_0{)}^n)$$
注意：只在$x_0$附近可以用此公式近似，不是对整个函数做近似。目的就是为了将复杂的函数用简单的多相似表示，方便研究。
当在0附近展开，即$x_0=0$时，就变成麦克劳林级数，
$$f(x)=f(0)+f^{\prime }(0)x+\frac{1}{2!}{f}^{(2)}{x}^2+\cdots +\frac{1}{n!}{f}^{(n)}{x}^n+o(x^n)$$
麦克劳林级数简单点，一般情况下将函数展开成麦克劳林级数。