机器学习中的数学基础 1

$O(n)$与$o(n)$

• o = order ：多项式的阶
• $O(n)$：$\exists$ $x_0>0,\epsilon >0$，使得 $x>x_0$ 时，$f(x)\le \epsilon g(x)$，此时可表示为 $f(x)=O(g(x))$，$f(x)$ 的阶 不会比 $g(x)$ 大
• $o(n)$：$\forall$ $\epsilon >0$，$\exists$ $x_0>0$，使得 $x\ge x_0$ 时，$f(x)\le \epsilon g(x)$，此时可以表示为$f(x)=o(g(x))$，$f(x)$ 的阶比 $g(x)$ 小，相对 $O(n)$ 更严格

参考：https://en.wikipedia.org/wiki/Big_O_notation

极限

对于 $\forall$ $\epsilon >0$，$\exists$ $\delta >0$，使得当 $0<|x-x_0|<\delta$ 时，有：

$$|f(x)-L|<\epsilon$$

记为 ${\lim }_{x\to x_0}f(x)=L$

求导

按照定义，给出求导公式：

$$\underset{x_1\to x_0}{\lim }\frac{f(x_1)-f(x_0)}{x_1-x_0}$$

参考：https://en.wikipedia.org/wiki/Derivative
在线工具：https://www.derivative-calculator.net/

python package

simpy 符号计算

https://simpy.readthedocs.io/en/latest/

求导方法

• 四则运算

• 链式法则

$兩函數f和g的定義域(D_f和D_g)、值域(I_f和I_g)都包含於實數系\mathbb{R}，若可以定義合成函數g\circ f(也就是I_f\cap D_g\ne \varnothing )$，且 $f於a\in D_f可微分，且g於f(a)\in I_f\cap D_g可微分，則$

$${(g\circ f)}^{\prime }(a)=g^{\prime }[f(a)]\cdot f^{\prime }(a)$$

也可以寫成

$$\frac{dg[f(x)]}{dx}{|}_{x=a}=\frac{dg(y)}{dy}{|}_{y=f(a)}\cdot \frac{df}{dx}{|}_{x=a}$$

费马定理(极值定理)

极值定理

在微积分中，极值定理说明如果实函数$f$在闭区间$[a,b]$上是连续函数，则它一定取得最大值和最小值，至少一次。也就是说，存在$[a,b]$内的$c$和$d$，使得：

$$\forall x\in [a,b],f(c)\ge f(x)\ge f(d)。$$

闭区间$[a,b]$上的连续函数$f(x)$，其最大值为红色点，最小值为蓝色点。

费马引理

函数$f(x)$在点$x_0$的某邻域$U(x_0)$内有定义，并且在$x_0$处可导，如果对任意的$x\in U(x_0)$，有

$$f(x)\le f(x_0)或f(x)\ge f(x_0)$$

那么$f^{\prime }(x_0)=0$。

即函数的每一个极值都是驻点（函数的导数在该点为零）。

需要注意的是，费马引理仅仅给出了函数在某个点为极值的必要条件。也就是说，有些驻点不是极值，它们是拐点。要想知道一个驻点是不是极值，并进一步区分最大值和最小值，我们需要分析二阶导数（如果它存在）。

函数逼近(中值定理)

罗尔中值定理

如果函数 $f(x)$ 同时满足：

1. 在闭区间$[a,b]$上连续；
2. 在开区间$(a,b)$内可微分；
3. 在区间端点处的函数值相等，即$f(a)=f(b)$，

那么在 $(a,b)$ 内至少有一点 $\xi (a<\xi <b)$，使得 $f^{\prime }(\xi )=0$

拉格朗日中值定理

如果函数$f(x)$满足：

1. 在闭区间 $[a,b]$ 上连续;
2. 在开区间 $(a,b)$ 内可微分;

那么至少有一点 $\xi ,a<\xi <b$，使下面等式成立

$$f(b)-f(a)=f^{\prime }(\xi )(b-a)。$$

柯西中值定理

如果函数$f(x)$及$g(x)$ 满足

1. 在闭区间$[a,b]$上连续；
2. 在开区间$(a,b)$内可微分；

对任意$x\in (a,b),g^{\prime }(x)\ne 0$；
那么在$(a,b)$内至少有一点$\xi (a<\xi <b)$，使等式

$$\frac{f(b)-f(a)}{g(b)-g(a)}=\frac{f^{\prime }(\xi )}{g^{\prime }(\xi )}$$

或

$$(f(b)-f(a))g^{\prime }(\xi )=(g(b)-g(a))f^{\prime }(\xi )$$

成立。

其几何意义为：用参数方程表示的曲线上至少有一点，它的切线平行于两端点所在的弦。

泰勒展开

泰勒级数

在数学上，对于一个在实数或复数 $a$ 邻域上，以实数作为变量或以复数作为变量的函数，并且是无穷可微的函数$f(x)$，它的泰勒级数是以下这种形式的幂级数：

$$\sum _{n=0}^{\infty }\frac{f^{(n)}(a)}{n!}(x-a{)}^n$$

这里，$n!$ 表示 $n$ 的阶乘，而 $f^{(n)}(a)$ 表示函数 $f$ 在点 $a$ 处的 $n$ 阶导数。如果 $a=0$，也可以把这个级数称为麦克劳林级数。

泰勒定理

定理：
设 $n$ 是一个正整数。如果定义在一个包含 $a$ 的区间上的函数 $f$ 在 $a$ 点处 $n+1$ 次可导，那么对于这个区间上的任意 $x$，都有：

$$f(x)=f(a)+\frac{f^{\prime }(a)}{1!}(x-a)+\frac{f^{(2)}(a)}{2!}(x-a{)}^2+\cdots +\frac{f^{(n)}(a)}{n!}(x-a{)}^n+R_n(x)$$

其中的多项式称为函数在 $a$ 处的泰勒展开式，剩余的 $R_n(x)$ 是泰勒公式的余项，是 $(x-a{)}^n$ 的高阶无穷小，即 $o((x-a{)}^n)$。

附：洛必达法则

令 $c\in \bar{\mathbb{R}}$ （扩展实数），两函数 $f(x),g(x)$ 在以 $x=c$ 为端点的开区间可微，$\underset{x\to c}{\lim }\frac{f^{\prime }(x)}{g^{\prime }(x)}\in \bar{\mathbb{R}}$，并且$g^{\prime }(x)\ne 0$。

此时洛必达法则表明：

$$\underset{x\to c}{\lim }\frac{f(x)}{g(x)}=\underset{x\to c}{\lim }\frac{f^{\prime }(x)}{g^{\prime }(x)}$$

另外，如果 $\underset{x\to c}{\lim }f(x)=\underset{x\to c}{\lim }g(x)=0$ 或 $\underset{x\to c}{\lim }|f(x)|=\underset{x\to c}{\lim }|g(x)|=\infty$ 其中一者成立，则称欲求的极限 $\underset{x\to c}{\lim }\frac{f(x)}{g(x)}$ 为未定式。

凸函数

设 $C$ 为实向量空间的凸子集，又设 $f:C\to \mathbb{R}$ 为实值函数。

$f$ 称为凸函数，须满足两个条件：

1. 函数 $f$ 的定义域 $domf$ 是一个凸集
2. $\forall 0\le t\le 1,x_1,x_2\in C,总是f\left(t{x}_1+(1-t)x_2\right)\le tf\left(x_1\right)+(1-t)f\left(x_2\right)$

上下凸定义

• 二阶导数大于零(Convex)：（下）凸函数
• 二阶导数小于零(Concave)：上凸函数

参考：https://zhuanlan.zhihu.com/p/56876303

凸函数二级导数条件证明

当满足 $domf(f定义域)isconvex(凸集)$
已知定义：$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)(0\le \theta \le 1)$
已知一阶条件：$f(x)\ge f(y)+f^{\prime }(y)(x-y)$

证明：
$$\begin{gathered} f(y)\le f(x)-f^{\prime }(y)(x-y) \\ f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )(f(x)-f^{\prime }(y)(x-y)) \\ f(\theta x+(1-\theta )y)-f(x)\le -(1-\theta )f^{\prime }(y)(x-y)(1) \end{gathered}$$
when $x\to y$：
$$\begin{gathered} f(\theta x+(1-\theta )y)-f(x)=f^{\prime }(x)(1-\theta )(y-x) \\ 代入(1)f(x)(1-\theta )(x-y)\ge (1-\theta )f^{\prime }(y)(x-y) \\ \frac{f^{\prime }(x)-f^{\prime }(y)}{x-y}\ge 0 \end{gathered}$$

得证：$f^{\prime \prime }(x)\ge 0$

参考：https://blog.youkuaiyun.com/qq_34037046/article/details/87317168
https://greyishsong.ink/%E5%87%B8%E4%BC%98%E5%8C%96%EF%BC%88%E4%B8%80%EF%BC%89%EF%BC%9A%E5%87%B8%E5%87%BD%E6%95%B0%E5%88%A4%E5%AE%9A%E6%96%B9%E6%B3%95%E7%9A%84%E8%AF%81%E6%98%8E