机器学习数学基础之极限

本文为作者本人学习过程中的一些重要笔记记录，只为方便以后复习查看。

极限定义

对于任意正数$\epsilon$>0，存在正数$\delta$使得当$0<|x-x_0|<\delta$时，有$$|f(x)-L|<\epsilon$$
记为${\lim }_{x\to x_0}f(x)=L$

无穷小和无穷大

无穷比较在算法的复杂度的比较上经常使用。

定义

若${\lim }_{x\to x_0}f(x)=0$，则称$f(x)$当$x\to x_0$时为无穷小量，简称无穷小，即无穷小量为以0为极限的变量。同理无穷大为以$\infty$为极限的变量。

无穷比大小

同样为无穷小，但是无穷小量之间是有大小区分的。
$$\underset{x\to 0}{\lim }\frac{\sin (x)}{\tan (x)}=1$$
说明两个无穷小是同阶无穷小，即两者趋于0的速度是相等的。
如果${\lim }_{x\to 0}f(x)=0$，同时$$\underset{x\to 0}{\lim }\frac{f(x)}{x^n}=0$$
说明$f(x)$是$n$阶以上的无穷小$$f(x)=o(x^n),x\to 0$$
说明$f(x)$在0处趋向0的速度比$x^n$快。
如果${\lim }_{x\to 0}f(x)=0$，同时${\lim }_{x\to 0}\frac{f(x)}{x^n}$存在且不等于0，说明$f(x)$是$n$阶无穷小$$f(x)=O(x^n),x\to 0$$
说明$f(x)$在0处趋向0的速度和$x^n$快。
无穷小阶数的意义在于，用已知的$x^n$来衡量未知$f(x)$，把未解决的问题转化为已解决的问题，是数学常用的技巧。

夹逼定理

$f(x)<=g(x)<=h(x)$，且在$x_0$处存在极限，则有
$$\underset{x\to x_0}{\lim }f(x)<=\underset{x\to x_0}{\lim }g(x)<=\underset{x\to x_0}{\lim }h(x)$$

重要极限

1. ${\lim }_{x\to 0}\frac{\sin (x)}{x}=1$
2. ${\lim }_{x\to \infty }\frac{x^{\alpha }}{e^x}=0$,算法复杂度为$e^x$是很大的。
3. ${\lim }_{x\to \infty }\frac{\ln (x)}{x^{\alpha }}=0$，对任意的正数$\alpha$成立。
4. ${\lim }_{x\to \infty }(1+\frac{1}{x})=e$