机器学习中的数学基础 1

关注

原创最新推荐文章于 2026-07-28 08:50:18 发布 202 阅读 AI 写同款· GEO 优化 ›

机器学习中的数学基础 DAY 1 O(n) o(n) order：阶，多次式阶，x^2+x+1 阶2 f(x)=O(g(x))：存在x0、M，使得x>=x0时，f(x)<=Mg(x) 2x^2 = O(x^2),M=2,x0任意 x^2+x+1 = O(x^2),M=2,x0=10 f(x)=o(g(x)):对于任意的ε，存在x0，使x>=x0时，f(x)<=εg(x) x=o(x^2) x^2+x+1 = o(x^3) 表示f(x)的阶比g(x)小维基百科：大O符号（英语：Big O notatio 阅读详情

$O (n)$ 与 $o (n)$

o = order ：多项式的阶
$O (n)$ ： $∃\exists$ $x0>0,ε>0x_0 > 0, \varepsilon > 0$ ，使得 $x > x_0$ 时， $\leq \varepsilon g(x)$ ，此时可表示为 $f (x) = O (g (x))$ ， $f (x)$ 的阶不会比 $g (x)$ 大
$o (n)$ ： $∀\forall$ $ε>0\varepsilon > 0$ ， $∃\exists$ $x_0 > 0$ ，使得 $\geq x_0$ 时， $\leq \varepsilon g(x)$ ，此时可以表示为 $f (x) = o (g (x))$ ， $f (x)$ 的阶比 $g (x)$ 小，相对 $O (n)$ 更严格

参考：https://en.wikipedia.org/wiki/Big_O_notation

极限

对于 $∀\forall$ $ε>0\varepsilon > 0$ ， $∃\exists$ $δ>0\delta > 0$ ，使得当 $x_0| < \delta$ 时，有：

$\varepsilon$

记为 $lim⁡x→x0f(x)=L\lim_{x \rightarrow x_0}f(x)=L$

求导

按照定义，给出求导公式：

$\lim_{x_1 \rightarrow x_0} \cfrac{f(x_1) - f(x_0)}{x_1 - x_0}$

参考：https://en.wikipedia.org/wiki/Derivative
在线工具：https://www.derivative-calculator.net/

在这里插入图片描述

python package

simpy 符号计算

https://simpy.readthedocs.io/en/latest/

求导方法

四则运算

在这里插入图片描述

链式法则

${\displaystyle f} 和 {\displaystyle g} 的定義域 ({\displaystyle D_{f}} 和 {\displaystyle D_{g}}) 、值域 ({\displaystyle I_{f}} 和 {\displaystyle I_{g}}) 都包含於實數系 {\displaystyle \mathbb {R} } ，若可以定義合成函數 {\displaystyle g\circ f} (也就是 {\displaystyle I_{f}\cap D_{g}\neq \varnothing })$ ，且 $f於a∈Df可微分，且g於f(a)∈If∩Dg可微分，則{\displaystyle f} 於 {\displaystyle a\in D_{f}} 可微分，且 {\displaystyle g} 於 {\displaystyle f(a)\in I_{f}\cap D_{g}} 可微分，則$

${(g\circ f)}^{\prime }(a)=g^{\prime }[f(a)]\cdot f^{\prime }(a)$

也可以寫成

${\frac {dg[f(x)]}{dx}}{\bigg |}_{x=a}={\frac {dg(y)}{dy}}{\bigg |}_{y=f(a)}\cdot {\frac {df}{dx}}{\bigg |}_{x=a}$

费马定理(极值定理)

极值定理

在微积分中，极值定理说明如果实函数 $f$ 在闭区间 $[a, b]$ 上是连续函数，则它一定取得最大值和最小值，至少一次。也就是说，存在 $[a, b]$ 内的 $c$ 和 $d$ ，使得：

$\forall x\in [a,b], f(c) \ge f(x) \ge f(d) 。$

闭区间 $[a, b]$ 上的连续函数 $f (x)$ ，其最大值为红色点，最小值为蓝色点。

在这里插入图片描述

费马引理

函数 $f (x)$ 在点 $x_0$ 的某邻域 $U(x_0)$ 内有定义，并且在 $x_0$ 处可导，如果对任意的 $x∈U(x0)x\in U(x_0)$ ，有

$f(x)\le f(x_0)或f(x)\ge f(x_0)$

那么 $f′(x0)=0f^\prime(x_0)=0$ 。

即函数的每一个极值都是驻点（函数的导数在该点为零）。

需要注意的是，费马引理仅仅给出了函数在某个点为极值的必要条件。也就是说，有些驻点不是极值，它们是拐点。要想知道一个驻点是不是极值，并进一步区分最大值和最小值，我们需要分析二阶导数（如果它存在）。

函数逼近(中值定理)

罗尔中值定理

如果函数 $f (x)$ 同时满足：

在闭区间 $[a, b]$ 上连续；
在开区间 $(a, b)$ 内可微分；
在区间端点处的函数值相等，即 $f (a) = f (b)$ ，

那么在 $(a, b)$ 内至少有一点 $ξ(a<ξ<b)\xi (a<\xi<b)$ ，使得 $f′(ξ)=0f^\prime(\xi)=0$

拉格朗日中值定理

如果函数 $f (x)$ 满足：

在闭区间 $[a, b]$ 上连续;
在开区间 $(a, b)$ 内可微分;

那么至少有一点 $a<ξ<b{\displaystyle \xi ,\;a<\xi <b}$ ，使下面等式成立

$f(b)-f(a)=f^{\prime }(\xi )(b-a)。$

柯西中值定理

如果函数 $f (x)$ 及 $g (x)$ 满足

在闭区间 $[a, b]$ 上连续；
在开区间 $(a, b)$ 内可微分；

对任意 $x∈(a,b),g′(x)≠0x\in (a,b),g'(x)\neq 0$ ；
那么在 $(a, b)$ 内至少有一点 $ξ(a<ξ<b)\xi (a<\xi<b)$ ，使等式

${\frac {f(b)-f(a)}{g(b)-g(a)}}={\frac {f'(\xi )}{g'(\xi )}}$

或

$(f(b)-f(a))g^{\prime}(\xi)=(g(b)-g(a))f^{\prime}(\xi)$

成立。

其几何意义为：用参数方程表示的曲线上至少有一点，它的切线平行于两端点所在的弦。

在这里插入图片描述

泰勒展开

泰勒级数

在数学上，对于一个在实数或复数 $a$ 邻域上，以实数作为变量或以复数作为变量的函数，并且是无穷可微的函数 $f (x)$ ，它的泰勒级数是以下这种形式的幂级数：

$\sum _{n=0}^{\infty }{\frac {f^{(n)}(a)}{n!}}(x-a)^{n}$

这里， $n!$ 表示 $n$ 的阶乘，而 $f^{(n)}(a)$ 表示函数 $f$ 在点 $a$ 处的 $n$ 阶导数。如果 $a = 0$ ，也可以把这个级数称为麦克劳林级数。

泰勒定理

定理：
设 $n$ 是一个正整数。如果定义在一个包含 $a$ 的区间上的函数 $f$ 在 $a$ 点处 $n + 1$ 次可导，那么对于这个区间上的任意 $x$ ，都有：

$f(x)=f(a)+{\frac {f'(a)}{1!}}(x-a)+{\frac {f^{{(2)}}(a)}{2!}}(x-a)^{2}+\cdots +{\frac {f^{{(n)}}(a)}{n!}}(x-a)^{n}+R_{n}(x)$

其中的多项式称为函数在 $a$ 处的泰勒展开式，剩余的 $R_{n}(x)$ 是泰勒公式的余项，是 $x-a)^{n}$ 的高阶无穷小，即 $o((x-a)^{n})$ 。

附：洛必达法则

令 $c∈Rˉ{\displaystyle c\in {\bar {\mathbb {R} }}}$ （扩展实数），两函数 $f(x),g(x){\displaystyle f(x),g(x)}$ 在以 $x = c$ 为端点的开区间可微， $lim⁡x→cf′(x)g′(x)∈Rˉ{\displaystyle \lim _{x\to c}{\frac {f'(x)}{g'(x)}}\in {\bar {\mathbb {R} }}}$ ，并且 $g′(x)≠0{\displaystyle g'(x)\neq 0}$ 。

此时洛必达法则表明：

$\lim _{x\to c}{\frac {f(x)}{g(x)}}=\lim _{x\to c}{\frac {f'(x)}{g'(x)}}$

另外，如果 $lim⁡x→cf(x)=lim⁡x→cg(x)=0{\displaystyle \lim _{x\to c}{f(x)}=\lim _{x\to c}{g(x)}=0}$ 或 $lim⁡x→c∣f(x)∣=lim⁡x→c∣g(x)∣=∞{\displaystyle \lim _{x\to c}{|f(x)|}=\lim _{x\to c}{|g(x)|}=\infty }$ 其中一者成立，则称欲求的极限 $lim⁡x→cf(x)g(x){\displaystyle \lim _{x\to c}{\frac {f(x)}{g(x)}}}$ 为未定式。

凸函数

设 $C$ 为实向量空间的凸子集，又设 $f:C→R{\displaystyle f:C\to \mathbb {R} }$ 为实值函数。

$f$ 称为凸函数，须满足两个条件：

函数 $f$ 的定义域 $d o m f$ 是一个凸集
$0≤t≤1,x1,x2∈C,总是f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)\forall \ {\displaystyle 0\leq t\leq 1}, {\displaystyle x_{1},x_{2}\in C}, 总是 {\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)\leq tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$

上下凸定义

二阶导数大于零(Convex)：（下）凸函数
二阶导数小于零(Concave)：上凸函数

在这里插入图片描述

参考：https://zhuanlan.zhihu.com/p/56876303

凸函数二级导数条件证明

当满足 $convex(凸集)\ \ domf(f定义域)\ is\ convex(凸集)$
已知定义： $(0≤θ≤1)f(\theta x+(1-\theta)y)\leq \theta f(x)+(1−θ)f(y) \ \ (0 \leq \theta \leq 1)$
已知一阶条件： $f(x)≥f(y)+f′(y)(x−y)f(x)\geq f(y)+f^\prime(y)(x-y)$

证明：
$f(y)≤f(x)−f^\prime(y)(x−y)\\ f(θx+(1−θ)y)≤θf(x)+(1−θ)(f(x)−f^\prime(y)(x−y))\\ f(θx+(1−θ)y)−f(x)≤−(1−θ)f^\prime(y)(x−y) \ \ (1)\\$
when $\rightarrow y$ ：
$f(\theta x+(1-\theta)y)-f(x)=f^\prime(x)(1-\theta)(y-x)\\ 代入(1) \ \ f(x)(1-\theta )(x-y)\geq (1-\theta)f^\prime(y)(x-y)\\ \frac{f^\prime(x)-f^\prime(y)}{x-y}\geq 0\\$

得证： $f^{′′}(x)≥0$

参考：https://blog.youkuaiyun.com/qq_34037046/article/details/87317168
https://greyishsong.ink/%E5%87%B8%E4%BC%98%E5%8C%96%EF%BC%88%E4%B8%80%EF%BC%89%EF%BC%9A%E5%87%B8%E5%87%BD%E6%95%B0%E5%88%A4%E5%AE%9A%E6%96%B9%E6%B3%95%E7%9A%84%E8%AF%81%E6%98%8E