机器学习之——数学知识一：微积分

两边夹定理

当$x \in U(x_0,r)$时，有$g(x)≤f(x) ≤h(x)$成立，并且 $\lim_{x\to x_0} g(x) = A$ ，$\lim_{x\to x_0} h(x) = A$ ，那么
$\lim_{x\to x_0} f(x) = A$

极限

$\lim_{x\to 0}\frac{\sin x}{x}= 1$
$\lim_{x\to \infty}(1+\frac{1}{x})^x= e$

极限存在定理

单调有界数列必有极限

常用导数

$C' = 0$
$(x^n)' = nx^{n-1} (n \in Q)$
$(\sin x)' = \cos x$
$(\cos x)' = -\sin x$
$(a^x)' = a^x \ln a$
$(e^x)' = e^x$
$(log_a x)' = \frac{1}{x} log_a e$
$ln x = \frac{1}{x}$
$(u + v)' = u' + v'$
$(uv)' = u'v + uv'$

Taylor公式

函数$f(x)$在$x_0$点的展开
$f(x) = f(x_0)+f'(x_0)(x-x_0)+ \frac {f''(x_0)}{2!}(x-x_0)^2+ ··· +\frac {f^{(n)}{(x_0)}}{n!}(x-x_0)^n + R_n(x)$

Maclaurin公式

函数$f(x)$在$0$点的展开
$f(x) = f(0)+f'(0)x+\frac {f''(0)}{2!}x^2+ ··· +\frac {f^{(n)}{(0)}}{n!}x^n + o(x^n)$

Taylor公式应用

$\sin x = x-\frac {x^3}{3!}+\frac {x^5}{5!}-\frac {x^7}{7!}+\frac {x^9}{9!}+ ··· +(-1)^{m-1}\frac {x^{2m-1}}{(2m-1)!}+R_{2m}$
$e^x = 1+x+\frac {x^2}{2!}+\frac {x^3}{3!}+···+\frac {x^n}{n!}+R_n$

计算$e^x$，x为正实数
求整数k，小数r，使得$x=k*ln 2+r, |r|<0.5*ln 2$
$e^x = e^{k*ln 2+r} = e^{k*ln2}·e^r = 2^k·e^r$

方向导数

如果函数$z=f(x,y)$在$(x,y)$点可微，那么，该函数在该点沿任意方向的方向导数存在，为：
$\frac {\partial f}{\partial l} = \frac {\partial f}{\partial x}\cos \varphi+ \frac {\partial f}{\partial x}\sin \varphi$
其中$\varphi$为x轴到方向L的转角

梯度

若函数$z=f(x,y)$在平面区域D内具有一阶连续偏导数，则对于每个点$P(x,y)\in D$ ，向量
$(\frac {\partial f}{\partial x}, \frac {\partial f}{\partial y})$
为函数$z=f(x,y)$在点$P(x,y)$的梯度，记作$\mathbf{grad}f(x,y)$
梯度的方向为函数在该点变化最快的方向。

凸函数

若$f(x)$在区间I上连续，如果对I上任意两点x1，x2，恒有f((x1+x2)/2)<(f(x1)+f(x2))/2，则称f(x)在I上是凸的。

#凸函数的判定

函数$f(x)$在区间[a,b]上连续，在(a,b)内二阶可导，那么:
若f”(x)>0，则f(x)是凸的
若f”(x)<0，则f(x)是凹的
即：一元二阶可微的函数在区间上是凸的，当且仅当它的二阶导数是非负的

凸函数更一般的表述

$f(\lambda x_1+(1- \lambda)x_2)\le\lambda f(x_1)+(1- \lambda)f(x_2)$
f为凸函数，则有：
$f(\theta_1 x_1+···+\theta_n x_n)\le\theta_1 f(x_1)+···+\theta_n f(x_n)$
其中$0 \le \theta_i \le 1, \theta_1+···+\theta_n =1$
意义：可以在确定函数的凸凹性之后，对函数进行不等式替换