图解AI数学基础(4) | 微积分与最优化（要点速查清单·完结）

• 作者：韩信子@ShowMeAI
• 教程地址：https://www.showmeai.tech/tutorials/83
• 本文地址：https://www.showmeai.tech/article-detail/165
• 声明：版权所有，转载请联系平台与作者并注明出处

---

1.最优化理论（Optimality Theory）

我们在做事过程中，会希望以最小的代价取得最大的收益。在解决一些工程问题时，人们常会遇到多种因素交织在一起与决策目标相互影响的情况；我们会使用最优化数学理论来应对这一挑战，而大家了解的线性规划也是最早的最优化方法之一。

李航博士的《统计学习方法》将机器学习总结为：机器学习 = 模型 + 策略 + 算法。而公式中的算法指的就是优化算法。大家在算法求职面试过程中，在项目模型效果调优过程中，都经常会遇到优化算法，它是学习AI必备的数学知识。

2.最优化问题的数学描述

最优化的基本数学模型如下公式所示：

$$\begin{array}{rl}\min & f(\mathbf{x})\\ \text{ s.t. }& h_i(\mathbf{x})=0\\ & g_j(\mathbf{x})⩽0\end{array}$$

它有三个基本要素，即：

• 设计变量：$\mathbf{x}$ 是一个实数域范围内的$n$维向量，被称为决策变量或问题的解；
• 目标函数：$f(x)$ 为目标函数；
• 约束条件：$h_i(x)=0$ 称为等式约束，$g_j(x)\le 0$ 为不等式约束，$i,j=0,1,2,\dots$

3.凸集与凸集分离定理

1）凸集（Convex Set）

实数域 $R$ 上（或复数 $C$ 上）的向量空间中，如果集合 $S$ 中任两点的连线上的点都在 $S$ 内，则称集合 $S$ 为凸集。

设集合 $S\subset R^n$，若对于任意两点 $x,y\in S$，及实数 $\lambda (0\le \lambda \le 1)$ 都有：$\lambda x+(1-\lambda )y\in S$ 则称集合 $\mathrm{S}$ 为凸集。

2）超平面和半空间

实际上，二维空间的超平面就是一条线（可以使曲线），三维空间的超平面就是一个面（可以是曲面）。其数学表达式如下：

超平面： H = { x ∈ R n ∣ a 1 + a 2 + … + a n = b } H=\{x \in R^{n} \mid a_{1}+a_{2}+\ldots+a_{n}=b\} H={ x∈Rn∣a1​+a2​+…+an​=b}

半空间： H + = { x ∈ R n ∣ a 1 + a 2 + … + a n ≥ b } H^{+}=\{x \in R^{n} \mid a_{1}+a_{2}+\ldots+a_{n} \geq b\} H+={ x∈Rn∣a1​+a2​+…+an​≥b}

3）凸集分离定理（Hyperplane Separation Theorem）

所谓两个凸集分离，直观地看是指两个凸集合没有交叉和重合的部分，因此可以用一张超平面将两者隔在两边，如图所示。

4）凸函数（Convex Function）

凸函数就是一个定义域在某个向量空间的凸子集 $C$ 上的实值函数。

数学定义为：对于函数 $f(x)$，如果其定义域 $C$ 是凸的，且对于 $\forall x_1,x_2\in C$，$0\le t\le 1$，有：$f(t{x}_1+(1-t)x_2)\le tf(x_1)+(1-t)f(x_2)$，则 $f(x)$ 是凸函数。

注：如果一个函数是凸函数，则其局部最优点就是它的全局最优点。这个性质在机器学习算法优化中有很重要的应用，因为机器学习模型最后就是在求某个函数的全局最优点，一旦证明该函数（机器学习里面叫『损失函数』）是凸函数，那相当于我们只用求它的局部最优点了。

4.梯度下降算法（Gradient Descent Algorithm）

1）背景

计算机在运用迭代法做数值计算（比如求解某个方程组的解）时，只要误差能够收敛，计算机最后经过一定次数的迭代后是可以给出一个跟真实解很接近的结果的。

其中有一个非常核心的问题，如果我们得到的目标函数是非线性的情况下，按照哪个方向迭代求解误差的收敛速度会最快呢？答案就是沿梯度方向。

这就引入了我们的梯度下降法。

2）梯度下降法

在多元微分学中，梯度就是函数的导数方向。梯度法是求解无约束多元函数极值最早的数值方法，很多机器学习的常用算法都是以它作为算法框架，进行改进而导出更为复杂的优化方法。

在求解目标函数 $f(x)$ 的最小值时，为求得目标函数的一个凸函数，在最优化方法中被表示为：

$$\min f(x)$$

根据导数的定义，函数 $f(x)$ 的导函数就是目标函数在 $x$ 上的变化率。在多元的情况下，目标函数 $f(x,y,z)$ 在某点的梯度 $\mathrm{grad}f(x,y,z)=(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\frac{\partial f}{\partial z})$ 是一个由各个分量的偏导数构成的向量，负梯度方向是 $f(x,y,z)$ 减小最快的方向。

如上图所示，当需要求 $f(x)$ 的最小值时（机器学习中的 $f(x)$ 一般就是损失函数，而我们的目标就是希望损失函数最小化），我们就可以先任意选取一个函数的初始点 $x_0$ （三维情况就是 ( x 0 , y 0 , z 0 ) (x_{0}, y_{0}, z_{0})