机器学习中的数学知识（-）梯度下降数学理论

机器学习中的数学知识

微积分：

$$f'(a)=lim_{x \to 0} \frac{f(a+h)-f(a)}{h}$$
常见的函数的导数：

$(x^a)’=ax^{a-1}$
$(e^x)’=e^x$
$(a^x)’=ln(a)a^x$
$(ln(x))’=\frac{1}{x}$
$\frac{d sin(x)}{dx}=cos(x)$
$\frac{d cos(x)}{dx}=sin(x)$

导数法则

$(\alpha f+\beta g)=\alpha f' +\beta g'$
$(fg)’=f'g+fg'$
$(\frac{f}{g})’=\frac{f'g-fg'}{g^2}$
如果 $f(x)=h(g(x))$ 那么 $f(x)’=h'(g(x))*g'(x)$

Hessian矩阵

泰勒级数与极值

$$f(x+\sigma)\approx f(x)+f'(x)\sigma+\frac{1}{2} f"\sigma^2$$

从公式中可以看出在点x的函数值如果是极小值点，那么$\sigma$表示在x点左右两侧摆动，要使得公式左边大于等式右边（$\sigma>0$或者$\sigma<0$），则必须满足$f'(x)=0$
结论：如果满足$f’(x)=0$的点称为极值点（平稳点），进一步判断：
$f"(x)>0$, $(x,f(x))$为极小值点；
$f"(x)<0$, $(x,f(x))$为极大值点；
如果$f"(x)=0$, 则称为拐点
对于矩阵判断其矩阵的正定性。（正定表示其全部特征值大于0）

注意：为什么要用梯度下降，而不是直接令$f'(x)=0$?
因为实际中函数求导即使求出来，但是要解方程$f'(x)=0$非常困难。

梯度下降