人工智能之数学基础篇—高等数学基础（上篇）

  在这篇文章，我将简单的总结一下函数、极限、无穷大和无穷小，这些概念是理解人工智能算法的基础数学知识。

1 函数

  我们经常会遇到彼此之间有依赖关系的变量，如圆的面积 $s$ 与它的半径 $r$ 之间存在 $s=\pi r^2$，自由落体运动中，若开始下落的时刻为 $t=0$，则下落的距离 $h$ 与下落的时间 $t$ 之间存在 $h=\frac{1}{2}g{t}^2$ 关系。我们称这种依赖关系为函数关系。

1.1 函数的定义

定义1 设数集 $D\subset R$，则映射 $f:D\to R$ 为定义在 $D$ 上的函数，通常简记为 $y=f(x),xϵD$。其中 $x$ 称为自变量，$y$ 称为因变量，$D$ 称为定义域，记作 $D_f$，即 $D_f=D$。

  按此定义，对每个 $xϵD$，按对应法则 $f$，总有唯一确定的值 $y$ 与之对应，这个值称为函数 $f$ 在 $x$ 处的函数值，记作 $f(x)$，即 $y=f(x)$。因变量 $y$ 与自变量 $x$ 之间的这种依赖关系通常称为函数关系。函数值 $f(x)$ 的全体所构成的集合称为函数的值域，记作 $R_f$ 或 $f(D)$，即 R f = f ( D ) = { y ∣ y = f ( x ) , x ϵ D } R_{f}=f(D)=\left \{ y\mid y=f(x),x\epsilon D \right \} Rf​=f(D)={y∣y=f(x),xϵD}。

  函数的定义域通常由函数的实际意义所决定，如圆的面积 $s=\pi r^2$，其中 $r$ 为自变量，而实际上圆的半径不可能为负数，因此函数定义域为 $D=\left[0,\infty \right)$。

  函数在 $x_0$ 处取得的函数值 $y_0=y{\mid }_{x=x_0}=f\left(x_0\right)$

1.2 几种特殊函数的定义

  1.分段函数

定义2 对于自变量 $x$ 的不同的取值范围，有着不同的对应法则，这样的函数称为分段函数。

  【例1】分段函数
$$f\left(x\right)=\{\begin{array}{ll}\sqrt{x}& \text{ if }x\ge 0\\ x& \text{ if }x<0\end{array}$$

  2.反函数

定义3 设函数 $f:D\to f\left(D\right)$ 是单射，则存在逆映射 $f^{-1}:f\left(D\right)\to D$，称此映射 $f^{-1}$ 为函数 $f$ 的反函数。

  按此定义，对每个 $yϵf\left(D\right)$，有唯一的 $xϵD$，使得 $f\left(x\right)=y$，于是有 $f^{-1}\left(y\right)=x$。也就是说反函数 $f^{-1}$ 的对应法则完全由函数 $f$ 的对应法则所确定。

  【例2】求 $h=\frac{1}{2}g{t}^2$ 的反函数。

  解：
$$h=f\left(t\right),t=f^{-1}\left(h\right)\to t=\sqrt{\frac{2h}{g}}$$
  即原函数的反函数为 $t=\sqrt{\frac{2h}{g}}$。

  3.显函数与隐函数

定义4 一个函数如果能用形如 $y=f(x)$ 的解析式表示，其中 $x$、$y$ 分别是函数的自变量与因变量，则此函数称为显函数。例如，$y=x^2+1$ 即为显函数。

定义5 如果由方程 $F(x,y)=0$ 可确定 $y$ 是 $x$ 的函数，即 $x$、$y$ 在某个范围内存在函数 $y=g(x)$，使 $F\left[x,g\left(x\right)\right]=0$，则这个函数是隐函数。例如，$x^2+1-y^2=0$ 就是隐函数。

1.3 函数的几种特性

1.3.1 函数的奇偶性

  设函数 $y=f(x)$ 的定义域 $D$ 关于原点对称。对于区间 $D$ 上任意点 $x$，若 $f(-x)=-f(x)$ 恒成立，则 $f(x)$ 为奇函数。若 $f(-x)=f(x)$ 恒成立，则 $f(x)$ 为偶函数。

  从几何意义上说，一个奇函数，其图像在绕原点180°旋转后不会改变。一个偶函数关于 $y$ 轴对称，其图像在对 $y$ 轴映射后不会改变，如图1所示。

图1 函数的奇偶性

1.3.2 函数的单调性

  设函数 $f(x)$ 的定义域为$D$，区间 $I\subset D$。假设区间 $I$ 上有任意两点 $x_1$ 及 $x_2$：当 $x_1<x_2$ 时，恒有 $f(x_1)<f(x_2)$，则称函数 $f(x)$ 在区间上是单调递增的；当 $x_1<x_2$ 时，恒有 $f(x_1)>f(x_2)$，则称函数 $f(x)$ 在区间 $I$ 上是单调递减的。函数的单调性如图2所示。单调递增和单调递减的函数统称为单调函数。

图2 函数的单调性

1.3.3 函数的周期性

  设函数 $f(x)$ 的定义域为 $D$，如果存在一个正数 $T$，使任意点 $xϵD$ 有 $(x\pm T)ϵD$，且 $f(x\pm T)=f(x)$恒成立，则称 $f(x)$ 为周期函数，$T$ 称为 $f(x)$ 的周期，通常说周期函数的周期是指最小正周期。

  如图3所示，函数 $sinx$、$cosx$ 都是以 $2\pi$ 为周期的周期函数，函数 $tanx$ 是以 $\pi$ 为周期的周期函数。

图3 周期函数

2 极限

  极限概念是在探求某些实际问题的精确解答过程中产生的。例如，求解曲边梯形的面积就是采用划分无穷个小梯形面积，然后求和得出曲边梯形的近似面积的方法，即极限思想在积分学的应用。另外以泰勒多项式近似表达复杂函数，也是极限思想的应用。极限方法是高等数学中的一种基本方法。

2.1 数列

定义6 如果按照某一法则，对每一个 $nϵN_{+}$，对应着一个确定的实数 $u_n$，按照下标 $n$ 从小到大排列得到的序列 $u_1,u_2,...,u_n$ 就叫作数列，简记为数列 { u n } \left \{ u_{n} \right \} {un​}，其中 $u_n$ 叫作通项。

  对于数列 { u n } \left \{ u_{n} \right \} {un​} 而言，如果 $n$ 无限增大，其通项无限接近常数 $A$，则称该数列以 $A$ 为极限或称数列收敛于 $A$，记为 ${\lim }_{n\to \infty }{u}_n=A$ ，否则称数列为发散。

2.2 收敛数列的性质

定理1 （极限的唯一性）如果数列 { u n } \left \{ u_{n} \right \} {un​} 收敛，那么它的极限唯一。

定理2 （收敛数列的有界性）如果数列 { u n } \left \{ u_{n} \right \} {un​} 收敛，那么数列 { u n } \left \{ u_{n} \right \} {un​} 一定有界。

注意：数列有界是数列收敛的必要条件，但不是充分条件。

定理3 （收敛数列的保号性）如果 ${\lim }_{n\to \infty }{u}_n=a$，且 $a>0$（或 $a<0$），那么存在正整数 $N$，当 $n>N$时，则 $u_n>0$ （或$u_n<0$）。

定理4 （收敛数列与其子序列的关系）如果数列 { u n } \left \{ u_{n} \right \} {un​} 收敛于 $a$，那么它的任意子序列也收敛，且极限为 $a$。

2.3 极限的符号表示

  $x\to \infty$：表示 “当 $\left|x\right|$ 无限增大时”。
  $x\to +\infty$：表示 “当 $x$ 无限增大时”。
  $x\to -\infty$：表示 “当 $x$ 无限减小时”
  $x\to x_0^{+}$：表示 “当 $x$ 从 $x_0$ 的右侧无限接近 $x$ 时”。
  $x\to x_0^{-}$：表示 “当 $x$ 从 $x_0$ 的左侧无限接近 $x$ 时”。

  例如：${\lim }_{x\to +\infty }{e}^{-x}=0$，${\lim }_{x\to \infty }\frac{1}{x}=0$，${\lim }_{x\to -\infty }arctanx=\frac{\pi }{2}$，图像分别如图4所示。

图4 函数的图像

2.4 函数极限的定义

  学习函数极限，主要研究以下两种情形：
  （1）当自变量 $x$ 任意地接近有限值 $x_0$ （或者说趋于有限值 $x_0$ ，记作 $x\to x_0$）时，对应的函数值 $f(x)$ 的变化情形。
  （2）自变量 $x$ 的绝对值 $\left|x\right|$ 无限增大， 即趋于无穷大 （记作 $x\to \infty$） 时，对应的函数值 $f(x)$ 的变化情形。

2.4.1 $x\to x_0$时函数极限的定义

定义7 设函数 $f(x)$ 在点 $x_0$ 的某一空心邻域内有定义，若存在一个常数 A ， 使对任意给定的正数 $\epsilon$ （无论它多么小），总存在一个正整数 $\delta$，当 $x$ 满足不等式 $0<\left|x-x_0\right|<\delta$，对应的函数值 $f(x)$ 都满足不等式：
$$\left|f(x)-A\right|<\epsilon$$
则称常数 $A$ 是函数 $f(x)$ 当 $x\to x_0$ 时的极限，记作 ${\lim }_{x\to x_0}f(x)=A$。

  【例3】求 ${\lim }_{x\to 1}\frac{x^2-1}{x-1}$ 的极限。

  解：
$$\underset{x\to 1}{\lim }\frac{x^2-1}{x-1}=\underset{x\to 1}{\lim }\frac{(x+1)(x-1)}{x-1}=2$$

  前面所述 $x\to x_0$ 时的函数极限概念中 ，$x$ 既是从 $x_0$ 的左侧也从 $x_0$ 的右侧趋于 $x_0$ 的，但有时只能或只需考虑 $x$ 仅从 $x_0$ 的左侧趋于 $x_0$ （记作 $x\to x_0^{-}$）的情形，或 $x$ 仅从 $x_0$ 的右侧趋于 $x_0$（记作 $x\to x_0^{+}$）的情形。

2.4.2 $x\to x_0^{-}$时函数极限的定义

定义8 当 $x\to x_0^{-}$ 时，$x$ 在 $x_0$ 的左侧，即 $x<x_0$。在${\lim }_{x\to x_0}f(x)=A$ 的定义中，把 $0<\left|x-x_0\right|<\delta$ 改为 $x_0-\delta <x<x_0$，那么 $A$ 就叫作 $f(x)$ 函数当 $x\to x_0^{-}$ 时的左极限。记作：${\lim }_{x\to x_0^{-}}f(x)=A$ 或 $f(x_0^{-})=A$。

2.4.3 $x\to x_0^{+}$时函数极限的定义

定义9 当 $x\to x_0^{+}$ 时，$x$ 在 $x_0$ 的右侧，即 $x>x_0$。在${\lim }_{x\to x_0}f(x)=A$ 的定义中，把 $0<\left|x-x_0\right|<\delta$ 改为 $x_0<x<x_0+\delta$，那么 $A$ 就叫作 $f(x)$ 函数当 $x\to x_0^{+}$ 时的右极限。记作：${\lim }_{x\to x_0^{+}}f(x)=A$ 或 $f(x_0^{+})=A$。

2.4.4 ${\lim }_{x\to x_0}f(x)=A$ 的充分必要条件

  ${\lim }_{x\to x_0}f(x)=A$ 的充分必要条件是 ${\lim }_{x\to x_0^{-}}f(x)={\lim }_{x\to x_0^{+}}f(x)=A$。

  【例1.4】已知 $f(x)=\{\begin{array}{cc}x-1,& x<0\\ 0,& x=0\\ x+1,& x>0\end{array}$ ，求 $x\to 0$ 时 $f(x)$ 的极限。

  解：
$$\underset{x\to x_0^{+}}{\lim }f(x)=\underset{x\to x_0^{+}}{\lim }(x+1)=1,\underset{x\to x_0^{-}}{\lim }f(x)=\underset{x\to x_0^{-}}{\lim }(x-1)=-1$$
  左右极限存在但不相等，因此，${\lim }_{x\to 0}f(x)$ 不存在。

2.4.5 $x\to \infty$ 时函数的极限

定义10 对于函数 $f(x)$，若存在一个常数 $A$ ， 使对任意给定的正数 $\epsilon$ （无论它多么小），总存在一个正数 $N$，当 $\left|x\right|>N$ 时，不等式：
$$\left|f(x)-A\right|<\epsilon$$
恒成立，则称常数 $A$ 是函数 $f(x)$ 当 $x\to \infty$ 时的极限 。

  可以这样理解，随意给出一个正数 $\epsilon$，存在一个正数 $N$， 在一个区间内（$\left|x\right|>N$）函数值与常数 $A$ 的差总小于 $\epsilon$ ，就相当于是函数值无限接近于 $A$ 。

  记作：${\lim }_{x\to \infty }f(x)=A$

  从几何意义上来说， ${\lim }_{x\to \infty }f(x)=A$ 的意义是做直线 $y=A-\epsilon$ 和 $y=A+\epsilon$ ， 则总有一个正数 $N$ 存在，使得当 $x<-N$ 或 $x>N$ 时，函数 $y=f(x)$ 的图形位于这两条直接之间，如图5所示。 这时直线 $y=A$ 是函数 $y=f(x)$ 图形的水平渐近线 。

图5 ${\lim }_{x\to \infty }f(x)=A$ 的几何意义

  【例5】使用Python编程求 ${\lim }_{x\to \infty }\frac{sinx}{x}$

【代码如下】

import sympy
from sympy import oo	#注意无穷符号表示形式为两个小写字oo
import numpy as np
x = sympy.Symbol('x')
f = sympy.sin(x)/x
result = sympy.limit(f,x,oo)
print(result)

0

  【例6】使用Python编程求 ${\lim }_{x\to 1}\frac{x^2-1}{x-1}$

【代码如下】

import sympy
from sympy import oo	#注意无穷符号表示形式为两个小写字oo
import numpy as np
x = sympy.Symbol('x')
f = (x**2 - 1) / (x - 1)
result = sympy.limit(f,x,1)
print(result)

2

3 无穷小与无穷大

  在极限当中经常会提到无穷小与无穷大，到底多小才是无穷小，多大才是无穷大呢?

3.1 无穷小

定义11 如果函数 $f(x)$ 当 $x\to x_0$（或 $x\to \infty$）时的极限为0，那么称函数 $f(x)$ 为 $x\to x_0$（或 $x\to \infty$）时的无穷小。

  例如，${\lim }_{x\to \infty }\frac{1}{x}=0$ ，则 $\frac{1}{x}$ 是 $x\to \infty$ 时的无穷小；${\lim }_{x\to 2}\left(3x-6\right)=0$，则 $\left(3x-6\right)$ 是 $x\to 2$ 时的无穷小。

3.2 无穷小的基本性质

  （1）有限个无穷小之和仍然是无穷小 。
  （2）有限个无穷小的乘积仍然是无穷小 。
  （3）有界函数与无穷小的乘积仍然是无穷小 。
  （4）无限个无穷小之和不一定是无穷小。

  【例7】求 ${\lim }_{n\to \infty }\frac{1}{n^2}+\frac{2}{n^2}+...+\frac{n}{n^2}$ 的极限。

  解：
$$\underset{n\to \infty }{\lim }\frac{1}{n^2}+\frac{2}{n^2}+...+\frac{n}{n^2}=\underset{n\to \infty }{\lim }\frac{\frac{n(n+1)}{2}}{n^2}=\underset{n\to \infty }{\lim }\frac{n+1}{2n}=\frac{1}{2}$$
从此题时以看出，无限个无穷小之和不是无穷小 。

  （5）无穷小的商不一定是无穷小 。

  例如：${\lim }_{x\to 0}\frac{x}{2x}=\frac{1}{2}$，${\lim }_{x\to 0}\frac{x^2}{2x}=0$，${\lim }_{x\to 0}\frac{2x}{x^2}=\infty$。

3.3 无穷小与函数极限的关系

  在自变量的同一变化过程 $x\to x_0$（或 $x\to \infty$）中，函数 $f(x)$ 具有极限 $A$ 的充分必要条件是 $f(x)=A+a$，其中 $a$ 是无穷小。

3.4 无穷大

定义12 设函数 $f(x)$ 在 $x_0$ 的某空心邻域内有定义（或 $\left|x\right|$ 大于某一正数时有定义）。如果对任意给定的正数 $M$ （不论它多么大）， 总存在一个正数 $\delta$ （或正数 $X$），只要 $x$ 适合不等式 $0<\left|x-x_0\right|<\delta$ （或$\left|x\right|>X$），对应的函数值 $f(x)$ 总满足不等式 $\left|f(x)\right|>M$，那么称函数 $f(x)$ 为当 $x\to x_0$ （或 $x\to \infty$）时的无穷大 。

  按函数极限的定义来说，当 $x\to x_0$ （或 $x\to \infty$）时的无穷大函数 $f(x)$ 的极限是不存在的，记作：
$$\underset{x\to x_0}{\lim }f(x)=\infty ,\underset{x\to \infty }{\lim }f(x)=\infty$$

3.5 无穷大与无穷小的关系

  在自变量的同一变化过程中，如果 $f(x)$ 为无穷大，则 $\frac{1}{f(x)}$ 为无穷小；相反，如果 $f(x)$ 为无穷小且 $f(x)\ne 0$，则 $\frac{1}{f(x)}$ 是无穷大。

3.6 无穷小的比较

  无穷小的基本性质（5）描述中提到，无穷小的商不一定是无穷小 。 例如 ， 当 $x\to 0$ 时， $x$ 、$2x$ 、 $x^2$ 都是无穷小，而 ${\lim }_{x\to 0}\frac{x}{2x}=\frac{1}{2}$，${\lim }_{x\to 0}\frac{x^2}{2x}=0$，${\lim }_{x\to 0}\frac{2x}{x^2}=\infty$。这反映了不同无穷小趋于 0 的"快慢"程度不同 。下面就无穷小之比的极限存在或无穷小之比为无穷大时 ， 来对两个无穷小进行比较 。

  假设 $\alpha$ 及 $\beta$ 都是同一个自变量的变化过程中的无穷小，且$\alpha \ne 0$。

  （1）如果 $lim\frac{\beta }{\alpha }=0$ ，那么就说 $\beta$ 是比 $\alpha$ 高阶的无穷小，记作 $\beta =o(\alpha )$。

  （2）如果 $lim\frac{\beta }{\alpha }=\infty$ ，那么就说 $\beta$ 是比 $\alpha$ 低阶的无穷小。

  （3）如果 $lim\frac{\beta }{\alpha }=c\ne 0$ ，那么就说 $\beta$ 与 $\alpha$ 是同阶无穷小。

  （4）如果 $lim\frac{\beta }{\alpha }=1$ ，那么就说 $\beta$ 与 $\alpha$ 是等价无穷小。

  【例8】求 ${\lim }_{x\to 0}\frac{sinx}{3x+x^3}$ ，并利用Python编程验证。

  解：因为当 $x\to 0$ 时，${\lim }_{x\to 0}\frac{sinx}{x}=1$，所以 $sinx$ 与 $x$ 是等价无穷小，因此，
$$\underset{x\to 0}{\lim }\frac{sinx}{3x+x^3}=\underset{x\to 0}{\lim }\frac{x}{3x+x^3}=\underset{x\to 0}{\lim }\frac{1}{3+x^2}=\frac{1}{3}$$
【代码如下】

import sympy
from sympy import oo
import numpy as np
x = sympy.Symbol('x')
f = sympy.sin(x) / (3*x + x**3)
result = sympy.limit(f, x, 0)
print(result)

1/3

  公式如果有错误，欢迎留言指正，谢谢各位大佬！！！

【参考文章】人工智能数学基础 唐宇迪 李琳 侯惠芳 王社伟 编著