机器学习高等数学基础——多元微分总结

多元微分求偏导

多元函数相关概念

n维空间

  设$n$为取定的一个正整数，我们用$R^n$表示$n$元有序实数组$(x_1,x_2,...,x_n)$的全体所构成的集合，即
KaTeX parse error: Expected 'EOF', got '}' at position 88: …, i = 1,2,...,n}̲
$R^n$中的元素$(x_1,x_2,...,x_n)$有时也用单个字母$x$来表示，即$x=(x_1,x_2,...,x_n)$.当所有的$x_i(i=1,2,...,n)$都为零时，称这样的元素为$R^n$中的零元，记为0或O。在解析几何中，通过直角坐标系，$R^2$（或$R^3$）中的元素分别与平面（或空间）中的点或向量建立一一对应的关系。
  为了在集合$R^n$中的元素之间建立联系，在$R^n$中定义线性运算如下：
$$\begin{gathered} x+y=(x_1+y_1,x_2+y_2,...,x_n+y_n) \\ \lambda x=(\lambda x_1,\lambda x_2,...,\lambda x_n) \end{gathered}$$
这样定义了线性运算的集合$R^n$称为$n$维空间。
  此外，$R^n$中点$x$和点$y$之间的距离，记作$\rho =(x,y)$，规定
$$\rho =(x,y)=\sqrt{{(x_1+y_1)}^2+{(x_2+y_2)}^2+...+{(x_n+y_n)}^2}$$

二元函数

  设$D$是$R^2$的一个非空子集，称映射$f:D->R$为定义在$D$上的二元函数，通常记为
$$z=f(x,y),(x,y)\in D$$
或
$$z=f(P),P\in D$$

求偏导数

  个人理解：为什么要求偏导，而不是像在一元函数中那样求导数？在一元函数中，我们仅需要求解$f(x)$对$x$的导数即可获得函数的性态，因为此时$f(x)$只与$x$对应。而在多元函数（这里以二元函数为例）中，$f(x,y)$与$x$和$y$对应。观察下图，我们发现，此时，$M_0$点的方向不再固定，为了能够更好地描述函数性态，我们主要对$x$和$y$两个方向进行求导，也就是$f(x,y)$分别对$x$和$y$求偏导数，类似于做降维处理（一元函数求导），简化了计算。当然，从数学角度讲，可能延伸到求二元极限（导数的定义）、求全微分等内容，这里不作展开。
  偏导数定义如下图：

  举例：求$z=x^2+3xy+y^2$在点$(1,2)$处的偏导数。
  把$y$看做常数，得
$$\frac{\partial z}{\partial x}=2x+3y$$
  把$x$看做常数，得
$$\frac{\partial z}{\partial y}=3x+2y$$
将$(1,2)$带入上面结果即可求解。

方向导数求梯度

  在上一小节中，提到了多元函数求偏导时的方向问题。这里就引出了方向导数，那么方向导数可以理解为在函数定义域内的某一点，对该点的某一方向求得的导数。结合一元导数的意义（变化率），可以进一步理解为一个函数沿指定方向的变化率。
  以下图为例，可以把它看作“山”的模型，而山的表面可以通过一个函数来表达。此时，我们在山上的某一点想要下山。在下山的过程中，我们总是有很多的方向（方向导数）可以选择，有的方向可以引导我们更快地下山，有的方向甚至可以引导我们上山，那么沿着哪个方向才是最快的下山路径？这就引出了梯度这一概念。

  通过上面的例子，易知梯度是有方向的，它是一个向量，这与方向导数有本质的区别（方向导数本质上是数值，可以直观理解为“下山”例子中的“下山速度”）。
  梯度表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（该梯度的方向）变化最快，变化率最大（该梯度的模）。
  定义：设二元函数$z=f(x,y)$在平面区域$D$上具有一阶连续偏导数，则对于每一个点$P(x,y)$都可定义出一个向量 { ∂ f ∂ x , ∂ f ∂ y } = f x ( x , y ) i + f y ( x , y ) j \{\frac{\partial f}{\partial x} , \frac{\partial f}{\partial y}\} = f_{x}(x,y)\boldsymbol{i} + f_{y}(x,y)\boldsymbol{j} {∂x∂f​,∂y∂f​}=fx​(x,y)i+fy​(x,y)j，该函数就称为函数$z=f(x,y)$在点$P(x,y)$的梯度，记为$\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}f(x,y)$或$\nabla f(x,y)$。
  其中，$\nabla$称为（二维的）向量微分算子或Nabla算子。
  举例：计算$f(x,y)=x^2+y^2$的梯度向量。

一阶偏导求Jacobian矩阵

  假设𝐹:ℝ𝑛→ℝ𝑚是一个从$n$维欧氏空间映射到$m$维欧氏空间的函数。该函数由$m$个实函数组成:$y_1(x_1,...,x_n),...,y_m(x_1,...,x_n)$。这些函数的偏导数（如果存在）可以组成一个$m$行$n$列的矩阵，这个矩阵就是所谓的Jacobian（雅可比）矩阵：
$$\left[\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right]$$
  对比梯度公式：
∇   y ( x 1 , x 2 ) = { ∂ y ∂ x 1 , ∂ y ∂ x 2 } \nabla {\,} y(x_1,x_2) = \{\frac{\partial y}{\partial x_1} , \frac{\partial y}{\partial x_2}\} ∇y(x1​,x2​)={∂x1​∂y​,∂x2​∂y​}
  观察Jacobian矩阵公式和梯度公式，可以把Jacobian矩阵公式化为梯度向量形式：
$$\left[\begin{array}{c}\nabla y_1(x_1,x_2,...,x_n)\\ ⋮\\ \nabla y_m(x_1,x_2,...,x_n)\end{array}\right]$$
Jacobian矩阵的行向量即是对应函数的梯度向量。
  显而易见，梯度向量是Jacobian矩阵的特例！
  举例：求$F=(f_1(x,y),f_2(x,y){)}^T$的雅可比矩阵，其中$f_1(x,y)=2x^2+y^2$，$f_2(x,y)=x^2+3y^2$。

二阶偏导求Hessian矩阵

  Hessian矩阵（黑塞矩阵/海森矩阵），是由一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。在数学中，Hessian矩阵是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，假设有一实数函数$f(x_1,x_2,...,x_n)$如果$f$所有的二阶偏导数都存在，那么$f$的Hessian矩阵的第$ij$项，即：
$$H(f_{ij}(x))=D_i{D}_{j}f(x)$$
其中$x=(x_1,x_2,...,x_n{)}^T$，即
$$\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$

  现求符合Hessian矩阵公式要求的一实数函数$f(x_1,x_2,...,x_n)$的梯度向量$g(x)$：
$$\left[\begin{array}{c}\frac{\partial }{\partial x_1}f(x_1,x_2,...,x_n)\\ \frac{\partial }{\partial x_2}f(x_1,x_2,...,x_n)\\ ⋮\\ \frac{\partial }{\partial x_n}f(x_1,x_2,...,x_n)\end{array}\right]$$
  此时，可以很明显地得出，列向量（梯度向量）的每一个元素都是包含自变量$x_1,x_2,...,x_n$全新函数（相当于$y_1,y_2,...,y_n$），再对该梯度向量求Jacobian矩阵，即对其中每一全新函数分别求他们的梯度向量（从数学计算角度来说，类似于求每一个一阶导数对应的全微分，这也是我们需要该实数函数（符合Hessian矩阵公式要求）的所有的二阶偏导数都存在的原因之一）：
$${\nabla }_{x}g(x)={\nabla }_x\left[\begin{array}{c}\frac{\partial }{\partial x_1}f(x_1,x_2,...,x_n)\\ \frac{\partial }{\partial x_2}f(x_1,x_2,...,x_n)\\ ⋮\\ \frac{\partial }{\partial x_n}f(x_1,x_2,...,x_n)\end{array}\right]=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$
  显然，Hessian矩阵是梯度向量g(x)对自变量x的Jacobian矩阵。

多元函数求极值

函数的极值与最值的概念

  极值：设函数$f(x)$在$x_0$的某邻域$U(x_0)$内有定义，如果对于去心邻域$U(x_0)$内的任意x，有$A$
$$f(x)<f(x_0)或f(x)>f(x_0)$$
那么就称$f(x_0)$是函数的一个极大值或极小值。如果熟悉极限定义的同学就会发现，极值只在某一范围内（并不是函数定义域）起作用，当超出这个范围后，该极值不一定适用。

而最值是函数在其定义域内取得最大值（或最小值）的点的函数值。
  综上所述，极值是局部性概念，而最值是全局性概念。在西瓜书·第五章·神经网络章节，我们会学到参数寻优的方法，即在局部极值的基础上去寻找全局最优，这并不容易～

最优性条件

  在一元函数前提下，我们会利用判断极值的两个充分条件解决问题。在实际计算中，通常使用求导结合区间单调性的方式，判断函数的极值，相对比较容易，这里不作展开。
  在多元函前提下，我们分为条件极值和无条件极值两种情况讨论。

无条件极值

  二元函数取得极值的充分条件：如果函数$z=f(x,y)$在点$(x_0,y_0)$的某邻域内具有连续的二阶偏导数，$(x_0,y_0)$是它的驻点，令：
$$\begin{gathered} A=f_{xx}(x_0,y_0),B=f_{xy}(x_0,y_0),C=f_{yy}(x_0,y_0) \\ \Delta =B^2-AC \end{gathered}$$
则：

1. 当$\Delta <0$时，$f(x,y)$在$(x_0,y_0)$取得极值。其中$A>0$时，取极小值，$A<0$时，取极大值；
2. 当$\Delta >0$时，$f(x_0,y_0)$不是极值；
3. 当$\Delta =0$时，不能确定，需进一步判断。

  更严谨的表述：设$n$元实函数$f(x_1,x_2,...,x_n)$在点$M_0(a_1,a_2,...,a_n)$的邻域内有二阶连续偏导，若有：
$${\frac{\partial f}{\partial x_j}|}_{(a_1,a_2,...,a_n)}=0,j=1,2,...,n$$
且
$$A=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$
则有如下结果：

1. 当$A$是正定矩阵时，$f(x_1,x_2,...,x_n)$在$M_0(a_1,a_2,...,a_n)$处是极小值；
2. 当$A$是负定矩阵时，$f(x_1,x_2,...,x_n)$在$M_0(a_1,a_2,...,a_n)$处是极大值；
3. 当$A$是不定矩阵时，$M_0(a_1,a_2,...,a_n)$不是极值点；
4. 当$A$是半正定矩阵或半负定矩阵时，$M_0(a_1,a_2,...,a_n)$是“可疑”极值点，尚需要利用其他方法来判定。

条件极值（拉格朗日乘子法）

  条件极值更严谨地表述为带等式约束的优化问题，显然我们需要使用拉格朗日乘子法。
举例：求函数$z=f(x,y)$在条件$\phi (x,y)=0$下的极值。

引入拉格朗日函数$L(x,y)=f(x,y)+\lambda \phi (x,y)$
则极值点满足：$\{\begin{array}{l}{L}_x(x_0,y_0)=0\\ L_y(x_0,y_0)=0\\ \phi (x_0,y_0)=0\end{array}$
接下来联立方程组，求解出$x$和$y$即可。

基于梯度的优化方法

Taylor公式

  Taylor公式就是用一个多项式函数去逼近一个给定的函数，即尽量使多项式函数图像拟合给定的函数图像
。如果一个非常复杂的函数，想求其某点的值，直接求无法实现。此时，可以使用Taylor公式去近似地求该值，这是Taylor公式的应用之一。Taylor公式在机器学习中主要应用于梯度迭代。
  定义：设$n$是一个正整数。如果定义一个包含$a$的区间上的函数$f$在$a$点处$n+1$次可导，那么对于这个区间上的任意$x$都有：
$$\begin{gathered} f(x)=\frac{f(a)}{0!}+\frac{f^{\prime }(a)}{1!}(x-a)+\frac{f^{\prime \prime }(a)}{2!}(x-a{)}^2+\cdot \cdot \cdot +\frac{f^{(n)}(a)}{n!}(x-a{)}^n+R_n(x) \\ =\sum _{n=0}^N\frac{f^{(n)}(a)}{n!}(x-a{)}^n+R_n(x) \end{gathered}$$
其中，${\sum }_{n=0}^N\frac{f^{(n)}(a)}{n!}(x-a{)}^n$称为函数在$a$处的Taylor展开式，$R_n(x)$称为Taylor公式的余项。

梯度下降法

  举例：使用梯度下降法求函数$y=cos(x)$在区间$x\in [0,2\pi ]$的极小值点。

import numpy as np
import matplotlib.pyplot as plt
import random

#y = cos(x)
def f(x):
    return np.cos(x)

#导数定义求某点导数值    
def qiudao(f, x, delta = 1e-4):
    return (f(x + delta) - f(x - delta)) / (2 * delta)

#画图
xs = np.linspace(0, 2*np.pi, 100)
plt.plot(xs, f(xs))


learning_rate = 0.1
max_loop = 200 #迭代次数

#随机选取初始值
start = random.uniform(0, 2 * np.pi)
x = start
x_list = [] #记录梯度下降过程

for i in range(max_loop):
    qd = qiudao(f, x) #求梯度
    x = x - learning_rate * qd #梯度下降法找到下一个点
    x_list.append(x)

#画图
x_list = np.array(x_list)
plt.scatter(x_list, f(x_list), c = "r")
plt.show()

print("initial x = ", start)
print("arg min f(x) of x = ", x)
print("f(x) = ", f(x))

输出结果：

• initial x = 1.5355280934997437
• arg min f(x) of x = 3.1415926520680157
• f(x) = -1.0

牛顿迭代法

  函数值为$0$时，自变量如何取值？这里引出牛顿迭代法（一下简称牛顿法）。
  利用牛顿法求解目标函数的最小值，实际上就是转化成求解使目标函数的一阶导为$0$的参数值。这一转化的理论依据：函数的极值点处的一阶导数为0。
  以一元函数举例：
  迭代过程是在当前位置$(x_0,y_0)$的横坐标$x_0$求该函数的切线（求一阶导），该切线和$x$轴的交点$x_1$，作为新的“$x_0$”。
  重复这一过程，直到交点和函数（实际上是目标函数的一阶导数）的零点重合。此时的参数值就是使得目标函数取得极值的参数值。其迭代过程如图：

迭代公式如下：
$$\theta :=\theta -\alpha \frac{{\ell }^{\prime }(\theta )}{{\ell }^{\prime \prime }(\theta )}$$
当$\theta$是向量时，牛顿法可以下面的等式表示：
$$\theta :=\theta -\alpha H^{-1}{\nabla }_{\theta }\ell (\theta )$$
其中$H$称为Hessian矩阵，其实就是目标函数对参数$\theta$的二阶导数。

  举例：使用牛顿迭代法求函数$y=cos(x)$在区间$x\in [0,2\pi ]$的极小值点。

import numpy as np
import matplotlib.pyplot as plt
import random

#y = cos(x)
def f(x):
    return np.cos(x)

#一阶导   
def qiudao_1(x):
    return -np.sin(x)

#二阶导
def qiudao_2(x):
    return -np.cos(x)

#画图
xs = np.linspace(0, 2*np.pi, 100)
plt.plot(xs, f(xs))


learning_rate = 0.1
max_loop = 1000 #迭代次数

#随机选取初始值
start = random.uniform(0, 2 * np.pi)
x = start
x_list = [] #记录牛顿迭代过程

for i in range(max_loop):
    grad = qiudao_1(x) #求梯度——求一阶导
    hessian = qiudao_2(x)      #求海森矩阵——求二阶导
    x = x - learning_rate * (grad / hessian) #梯度下降法找到下一个点
    x_list.append(x)

#画图
x_list = np.array(x_list)
plt.scatter(x_list, f(x_list), c = "r")
plt.show()

print("initial x = ", start)
print("arg min f(x) of x = ", x)
print("f(x) = ", f(x))

输出结果：

• initial x = 4.351193487874113
• arg min f(x) of x = 3.1415926535897953
• f(x) = -1.0

牛顿迭代法与梯度下降法比较

	牛顿迭代法	梯度下降法
优点	①通过求解目标函数的一阶导数为0时的参数，进而求出目标函数最小值时的参数。实际上，通过迭代过程图和推导公式可知，牛顿迭代法与二阶导数息息相关，这就使得牛顿法的收敛速度很快。 ②Hessian矩阵的逆矩阵在迭代过程中不断减小，可以起到逐步减小步长的作用。	通过梯度方向和步长，直接求解目标函数的最小值时候的参数。
缺点	Hessian矩阵的逆运算复杂，代价比较大，因此有了拟牛顿法。	越接近最优值时，步长应不断减小，否则会在最优值附近来回震荡

参考

最优化理论之负梯度方法与Newton型方法——知乎
统计学习方法·李航
机器学习——李宏毅
偏导数定义——知乎
方向导数和梯度的理解
梯度向量、Jacobian矩阵、Hessian矩阵