机器学习中的数学（上）

  上篇博文介绍了《机器学习之支持向量机》后发现利用到了梯度、凸优化、拉格朗日对偶性等数学问题。而且凸优化是本科非数学专业学不到的科目，所以这篇博文就要和大家分享一下机器学习中常用的数学概念。

  博文重点：

• 线性代数。
• 凸优化。
• 概率论（机器学习中的数学（中））。
• 机器学习中常用的不等式（机器学习中的数学（下））。

1、线性代数

  这部分介绍一些机器学习中常用的线性代数知识点包括向量的范数和矩阵的范数及其相关性质。

1.1 向量和范数

  这一部分将通过$\mathbb{H}$来定义一个维数可能是无限的向量空间。

1.1.1 范数

定义1.1： 映射$\Phi :\mathbb{H}\to {\mathbb{R}}_{+}$被认为是$\mathbb{H}$上的范数如果它满足如下公理：

• 非负性（definiteness）：$\forall \mathbf{x}\in \mathbb{H},\Phi (\mathbf{x})=0\iff \mathbf{x}=0,\Phi (\mathbf{x})>0\iff \mathbf{x}\ne 0$；
• 同质性（齐次性）（homogeneity）：$\forall \mathbf{x}\in \mathbb{H},\forall \alpha \in \mathbb{R},\Phi (\alpha \mathbf{x})=|\alpha |\Phi (\mathbf{x})$；
• 三角不等式（triangle inequality）：$\forall \mathbf{x},\mathbf{y}\in \mathbb{H},\Phi (\mathbf{x}+\mathbf{y})\le \Phi (\mathbf{x})+\Phi (\mathbf{y})$。

对任意$p\ge 1$，$L_p$范数可以通过下述定义：

$$\forall \mathbf{x}\in {\mathbb{R}}^N,||\mathbf{x}|{|}_p=(\sum _{j=1}^N|x_j{|}^p{)}^{1/p}.$$

$L_1,L_2$和$L_{\infty }$范数是用的最多的范数，其中$||\mathbf{x}|{|}_{\infty }={\max }_{j\in [N]}|x_j|$。下述不等式都是成立的：

$$\begin{gathered} ||\mathbf{x}|{|}_2\le ||\mathbf{x}|{|}_1\le \sqrt{N}||\mathbf{x}|{|}_2 \\ ||\mathbf{x}|{|}_{\infty }\le ||\mathbf{x}|{|}_2\le \sqrt{N}||\mathbf{x}|{|}_{\infty } \\ ||\mathbf{x}|{|}_{\infty }\le ||\mathbf{x}|{|}_1\le N||\mathbf{x}|{|}_{\infty }. \end{gathered}$$

定义1.2：希尔伯特空间（Hilbert space）： 希尔伯特空间是由向量空间的内积组成的$⟨\cdot ,\cdot ⟩$，内积导出一个范数，定义如下：

$$\forall \mathbf{x}\in \mathbb{H},||\mathbf{x}|{|}_{\mathbb{H}}=\sqrt{⟨\mathbf{x},\mathbf{x}⟩}.$$

1.1.2 对偶范数（Dual norms）

定义1.3： 让$||\cdot ||$表示一个在${\mathbb{R}}^N$上的范数。与$||\cdot ||$相关的对偶范数$||\cdot |{|}_{\ast }$是如下定义：

$$\forall \mathbf{y}\in {\mathbb{R}}^N，||\mathbf{y}|{|}_{\ast }=\underset{||\mathbf{x}||=1}{\sup }|⟨\mathbf{y}\cdot \mathbf{x}⟩|.$$

对任意的$p,q\ge 1$是共轭的（conjugate）也就是$\frac{1}{p}+\frac{1}{q}=1$，则有$L_p$和$L_q$范数互为对偶范数。一般来说，$L_2$的对偶范数是$L_2$，$L_1$的对偶范数是$L_{\infty }$。

命题1.4：Hölder不等式： 让$p,q\ge 1$是共轭的，即$\frac{1}{p}+\frac{1}{q}=1$。对所有的$x,y\in {\mathbb{R}}^N$，

$$|⟨\mathbf{x},\mathbf{y}⟩|\le ||\mathbf{x}|{|}_p||\mathbf{y}|{|}_q,$$

当对于所有的$i\in [N]$时，$|y_i|=|x_i{|}^{p-1}$时，上式取等。

推论1.5：柯西-施瓦兹不等式（Cauchy-Schwarz inequality）： 对所有的$\mathbf{x},\mathbf{y}\in {\mathbb{R}}^{}$