机器学习中的数学——数值计算和凸优化

数值计算

1.上溢和下溢

连续数学在计算机上的根本困难是通常需要用优先的位模式表示无限多的实数。实数表示中会引入近似误差，大多数近似误差是舍入误差，若不考虑舍入误差的累积，可能会导致算法失效。

下溢：接近零的数被四舍五入为零时发生下溢。许多函数在参数为零而不是一个很小的正数时表现出质的不同。

上溢：大量级的数被近似为$\infty$或$-\infty$，进一步的元素导致无限值变为非数字。

解决方法：利用softmax函数。
$$softmax(\mathbf{x}{)}_i=\frac{exp(x_i)}{{\sum }_{j=1}^{n}exp(x_j)}$$
假设输入向量是$\mathbf{x}$，令$\mathbf{z}=\mathbf{x}-ma{x}_i{x}_i$

softmax函数的解析值不会因为从输入值减去或加上标量值而改变。

2.病态条件

条件数是指函数相对于输入的微小变化而变化的快慢程度。

$$K(\mathbf{A})=\Vert \mathbf{A}\Vert \cdot \Vert {\mathbf{A}}^{-1}\Vert$$
一般来说，方程组解集的精度大概是$lo{g}_{10}K(\mathbf{A})$个十进制位的误差。

考虑函数$f(\mathbf{x})={\mathbf{A}}^{-1}\mathbf{x}$。当$\mathbf{A}\in {\mathbb{R}}^{n\times n}$具有特征值分解时，其条件数为

$$ma{x}_{i,j}\left|\frac{{\lambda }_i}{{\lambda }_j}\right|$$

当该值很大时，矩阵求逆对输入的误差很敏感。

病态是线性方程组中系数矩阵列向量线性相关性过大，表示的特征过于相似。

病态矩阵的处理方法
病态矩阵解集的不稳定性由于解集空间包含自由度过大的方向。病态矩阵的特征向量不一定正交，不适合做新基，SVD分解分解出正交基。即将解集限制在一组正交基空间内。

3.优化

优化指的是改变$\mathbf{x}$以最小化或最大化某个函数$f(\mathbf{x})$的任务。

Jacobian矩阵：输入和输出都是向量的函数的所有偏导数。矩阵$\mathbf{J}\in {\mathbb{R}}^{n\times n}$定义为$J_{i,j}=\frac{\partial }{\partial x_j}f(\mathbf{x}{)}_i$

Hessian矩阵${\mathbf{H}}_f(\mathbf{x})$定义为
$${\mathbf{H}}_f(\mathbf{x})=\frac{{\partial }^2}{\partial x_i\partial x_j}f(\mathbf{x})$$
Hessian矩阵是实对称的，因此可以分解为一组实特征值和一组特征向量的正交基。

在特定方向$\mathbf{d}$上的二阶导数可以写成${\mathbf{d}}^T\mathbf{H}\mathbf{d}$。当$\mathbf{d}$是$\mathbf{H}$的一个特征向量时，这个方向的二阶导数是对应的特征值；对于其他方向$\mathbf{d}$，方向二阶导数的所有特征值的加权平均，权重在0和1之间，且与夹角越小的特征向量的权重越大。

当最优化的函数能用二次函数很好近似的情况下，Hessian决定学习率的量级。

函数变量大于1时，鞍点不一定具有0特征值，仅需要同时具有正特征值和负特征值。

牛顿法基于泰勒展开近似$f(\mathbf{x})$

一阶泰勒展开的牛顿法

$$\begin{gathered} f(x)=f(x_0)+{\nabla }_{x}f(x_0)(x-x_0) \\ {x}_{n+1}=x_n-\frac{f^{‘}(x_n)}{f(x_n)} \end{gathered}$$
二阶泰勒展开的牛顿法
$$\begin{gathered} f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{1}{2}{f}^{\prime \prime }(x_0)(x-x_0{)}^2 \\ {x}^{\ast }=x_0-\frac{f^{‘}(x_0)}{f^{\prime \prime }(x_n)} \end{gathered}$$

若目标函数是正定二次函数，牛顿法能一次得到函数的最小点；若目标函数不是真正二次但在局部近似为正定二次，多次使用牛顿法，迭代更新近似函数会比梯度下降法更快找到最小点。

Lipschitz连续：限制函数满足Lipschitz连续允许量化我们的假设——梯度下降算法导致的输入的微小变化将使输出只产生微小的变化。
$$\forall x,\forall y,|f(x)-f(y)|\le \mathcal{L}\Vert x-y{\Vert }_2$$

4.凸优化基础

矩阵理论：矩阵为多元问题分析和求解提供了基本的数据结构，为并行计算提供理论基础；

数值分析：导数和微分为多元问题分析和求解提供基本的数学方法和理论基础；

4.1 最优化的数学描述

最优化问题的描述：

min⁡x∈Rnf(x)s.t.{ hi(x)=0gj(x)≤0 \min_{x\in \Bbb R^n}