深度学习：第二章 机器学习概述（1）

本系列文章仅为个人学习邱锡鹏老师《神经网络与深度学习》和李沐老师《动手学深度学习》的学习笔记，不做任何商业传播用途！若发现有雷同，不是巧合。

• 本模块近期暂时停更，博主发现不能没学会跑就着急飞，机器学习的基础也得补一补

---

▲困惑了很久的机器学习和模式识别到底有啥区别？

举例：手写数字识别—让机器学习一套识别算法几乎很难完成。解决方案：让计算机“看”大量的样本，并从中学习经验，然后使用这些经验来识别新的样本。首先需要人工标注大量手写体数字图像，以这些图像作为训练数据，然后通过学习算法自动生成一套模型，使用这个模型识别新的手写数字体。

2.1 基本概念

*注：因为一些名词非常基础、一目了然，所以不再过分追求解释

💡 专有名词： 特征（feature）、标签（label）—通常使用标量y表示、样本（sample）/示例（instance）：标记了特征和标签的个体、数据集（data set）/语料库（corpus）—训练集+测试集、特征向量（一个个体的所有特征构成的向量，每一维代表一个特征）

给定训练集$\mathcal{D}$中的$N$个样本都是独立同分布的，希望计算机从一个函数集合 F = { f 1 ( x ) , f 2 ( x ) , . . . } \mathscr{F}=\left\{ f_1\left( \boldsymbol{x} \right) ,f_2\left( \boldsymbol{x} \right) ,... \right\} F={f1​(x),f2​(x),...} 中自动寻找一个最优的函数$f^{\ast }(x)$来近似每个样本的特征向量$x$和标签$y$之间的真实映射关系，及预测标签的值$\hat{y}=f^{\ast }(x)$或标签的条件概率$\hat{p}(y|\mathbf{x})=f_y^{\ast }(\mathbf{x})$【函数在$y$维的值，即当特征为$\mathbf{x}$时样本标签是$y$的概率】。寻找这个最优的函数就是机器学习的关键，一般需要通过学习算法$\mathcal{A}$来完成，这个过程称为学习或训练。

为了评估这个算法的效果，独立同分布地抽取样本作为测试集${\mathcal{D}}^{\prime }$，将函数在测试集上进行测试，计算预测结果的准确率：$Acc(f^{\ast }(\mathbf{x}))=\frac{1}{|{\mathcal{D}}^{\prime }|}{\sum }_{(x,y)\in {\mathcal{D}}^{\prime }}I(f^{\ast }(\mathbf{x})=y)$

---

2.2 机器学习四要素

（1）数据

有监督学习（回归问题、分类问题）：$(x,y)$

无监督学习：$x$

（2）模型

从假设空间中选择最优的模型，能够预测输入和输出的关系。

不同机器学习任务主要区别在于输出空间不同，例如二分类问题中 y = { + 1 , − 1 } \mathcal{y}=\{+1,-1\} y={+1,−1}，在C分类问题中 y = { 1 , 2 , . . . , C } \mathcal{y}=\{1,2,...,C\} y={1,2,...,C}，在回归问题中$y=\mathbb{R}$。

假定样本空间中的样本$(\mathbf{x},y)$中$\mathbf{x}$和$y$的关系可以通过一个未知的真实映射函数$y=g(\mathbf{x})$或真实条件概率分布$p_r(y|\mathbf{x})$表述，则机器学习的目标是找到一个模型来接近这个表述。由于不知道这个表述的具体形式，只能根据经验假设一个参数化的函数集合$\mathcal{F}$，$\mathcal{F}=\left\{f(\mathbf{x};\theta )|\theta \in {\mathbb{R}}^D\right\}$ ，称为假设空间，观察其在训练集$\mathcal{D}$上的特性，选择一个理想的假设$f^{\ast }\in \mathcal{F}$。其中$f(\mathbf{x};\theta )$是参数为$\theta$的函数，也称为模型，D是参数的数量。

线性模型

假设空间为一个参数化的线性函数族，即$f(\mathbf{x};\theta )={\mathbf{w}}^T\mathbf{x}+b$，参数$\theta$包含了权重$\mathbf{w}$和偏置$b$。

非线性模型

广义的非线性模型可以写成多个非线性基函数$\mathbf{\varphi }\left(\mathbf{x}\right)$$\varphi \left(\mathbf{x}\right)$$f\left(\mathbf{x};\theta \right)={\mathbf{w}}^T\mathbf{\varphi }\left(\mathbf{x}\right)+b$，其中$\mathbf{\varphi }\left(\mathbf{x}\right)=[{\varphi }_1(\mathbf{x}),...,{\varphi }_K(\mathbf{x}){]}^T$是$K$个非线性基函数组成的向量。

如果$\mathbf{\varphi }(\mathbf{x})$本身是可学习的基函数，例如${\mathbf{\varphi }}_{\mathbf{k}}(\mathbf{x})=h({\mathbf{w}}_k^{\top }{\mathbf{\varphi }}^{\prime }(\mathbf{x})+b_k),\forall 1\le k\le K$，其中$h(.)$是非线性函数，${\mathbf{\varphi }}^{\prime }(\mathbf{x})$是另一组基函数，${\mathbf{w}}_k$和$b_k$时刻学习的参数，那么$f(\mathbf{x};\theta )$等价于神经网络模型。

（3）学习准则

判断模型好坏。

首先训练集$D=\{({\mathbf{x}}^{(n)},y^{(n)}){\}}_{n=1}^N$应确保是由N个独立同分布地样本组成，即每个样本$\left(\mathbf{x},y\right)\in \mathcal{X}\times \mathcal{Y}$是从$\mathcal{X}$和$\mathcal{Y}$的联合空间中按照某个未知分布$p_r(\mathbf{x},y)$独立地随机产生的，要求样本分布必须是固定的（虽然可以是未知的），不会随时间而变化。

那么一个好的模型$f(\mathbf{x},{\theta }^{\ast })$应该在所有$(\mathbf{x},y)$的可能取值上都与真实的映射函数$y=g(\mathbf{x})$一致，或与真实条件概率分布$p_r(y|\mathbf{x})$一致，即：

$$\begin{gathered} \left|f(\mathbf{x},{\theta }^{\ast })-y\right|<\epsilon ,\forall (\mathbf{x},y)\in \mathcal{X}\times \mathcal{Y}, \\ |f_y(\mathbf{x},{\theta }^{\ast })-p_r(y|\mathbf{x})|<\epsilon ,\forall (\mathbf{x},y)\in \mathcal{X}\times \mathcal{Y} \end{gathered}$$

其中$\epsilon$是一个很小的正数，$p_r(\mathbf{x},{\theta }^{\ast })$为模型预测的条件概率分布中$y$对应的概率。

模型的好坏可以用期望风险/期望错误$\mathcal{R}(\theta )$来衡量，定义为：$\mathcal{R}(\theta )={\mathbb{E}}_{(x,y)\sim p_r(\mathbf{x},y)}[\mathcal{L}(y,f(\mathbf{x};\theta ))]$，其中$p_r(\mathbf{x},y)$是真实的数据分布，$\mathcal{L}(y,f(\mathbf{x};\theta ))$是损失函数，用来量化两个变量间的差异。

Ⅰ.损失函数（Loss Function）

损失函数是一个非负实数函数，用来量化模型预测和真实标签之间的差异。

0-1损失函数

最直观的损失函数是模型在训练集上的错误率。但缺点是数学性质不是很好：不连续且导数为0，难以优化。

$$\begin{array}{rl}\mathcal{L}(y,f(\mathbf{x};\theta ))& =\{\begin{array}{ll}0& \text{if}y=f(\mathbf{x};\theta )\\ & \\ 1& \text{if}y\ne f(\mathbf{x};\theta )\end{array}\\ & =I(y\ne f(\mathbf{x};\theta ))\end{array}$$

平方损失函数（Quadratic Loss Function）

经常用在预测标签为实数值的任务中，但不适用于分类问题，定义为：

$$\mathcal{L}(y,f(\mathbf{x};\theta ))=\frac{1}{2}{\left(y-f(\mathbf{x};\theta )\right)}^2.$$

交叉熵损失函数（Cross-Entropy Loss Function）

一般用于分类问题。假设样本的标签 y ∈ { 1 , . . . , C } y \in \{1,...,C\} y∈{1,...,C}为离散的类别，模型$f(\mathbf{x};\theta )\in [0,1{]}^C$的输出为类别标签的条件概率分布，即：$p(y=c|\mathbf{x};\theta )=f_c(\mathbf{x};\theta )$，并满足$f_c(\mathbf{x};\theta )\in [0,1],{\sum }_{c=1}^{\mathbf{C}}{f}_c(\mathbf{x};\theta )=1.$标签one-hot向量$\mathbf{y}$可以看做样本标签的真实条件概率分布${\mathbf{p}}_{\mathbf{r}}(\mathbf{y}|\mathbf{x})$，即第$c$维是类别为$c$的真实条件概率。

对于两个概率分布，一般可以用交叉熵来衡量它们的差异。标签的真实分布$y$和模型预测分布$f(\mathbf{x};\theta )$之间的交叉熵为：

$$\begin{array}{rl}\mathcal{L}(\mathbf{y},f(\mathbf{x};\theta ))& =-y^{⊺}\log f(\mathbf{x};\theta )\\ & =-\sum _{c=1}^C{y}_c\log f_c(\mathbf{x};\theta )\\ & =-log{f}_y(\mathbf{x};\theta )\end{array}$$

其中$f(\mathbf{x};\theta )$可以看作真实类别$y$的似然函数，那么交叉熵损失函数就是负对数似然函数。

Hinge损失函数

对于二分类问题，假设$y$的取值为 { − 1 , + 1 } \{-1,+1\} {−1,+1}，$f(\mathbf{x};\theta )\in \mathbb{R}$。则损失函数定义为：

$$\begin{array}{rl}\mathcal{L}(y,f(\mathbf{x};\theta ))& =\max \left(0,1-yf(\mathbf{x};\theta )\right)\\ & \triangleq [1-yf(\mathbf{x};\theta ){]}_{+}\end{array}$$

Ⅱ.风险最小化准则

好的模型应当有一个比较小的期望错误，但是由于不知道真实的数据分布和映射函数，实际上无法计算期望风险。给定一个训练集，可以计算的是经验风险（Empirical Risk）/经验错误，也就是在训练集上的平均损失：

$${\mathcal{R}}_D^{emp}(\theta )=\frac{1}{N}\sum _{n=1}^N\mathcal{L}(y^{(n)},f({\mathbf{x}}^{(n)};\theta ))$$

那么一个切实可行的学习准则就是找到一组参数${\theta }^{\ast }$是的经验风险最小，即经验风险最小化准则（ERM）。

过拟合

根据大数定理可知，当训练集大小趋向于无穷大时，经验风险就趋向于期望风险，然而通常情况下，我们无法获取无限的训练样本，并且训练样本往往是真实数据的一个很小的子集或者包含一定的噪声数据，不能很好地反映全部数据的真实分布。那么经验风险最小化原则很容易导致模型在训练集上错误率很低，但是在未知数据上错误率很高。这就是所谓的过拟合（Overftting）。

过拟合问题往往是由于训练数据少和噪声以及模型能力强等原因造成的。为了解决过拟合问题，一般在经验风险最小化的基础上再引入参数的正则化（Regularization）来限制模型能力，使其不要过度地最小化经验风险，这种准则就是结构风险最小化（Structure Risk Minimization, SRM）准则：

$$\begin{array}{rl}{\theta }^{\ast }& =\arg \underset{\theta }{\min }{\mathcal{R}}_D^{st\mathbf{ruct}}(\theta )\\ & =\arg \underset{\theta }{\min }{\mathcal{R}}_{\mathcal{D}}^{\text{етр}}(\theta )+\frac{1}{2}\lambda \Vert \theta {\Vert }^2\\ & =\arg \underset{\theta }{\min }\frac{1}{N}\sum _{n=1}^N\mathcal{L}(y^{(n)},f({\mathbf{x}}^{(n)};\theta ))+\frac{1}{2}\lambda \Vert \theta {\Vert }^2\end{array}$$

其中$||\theta ||$是${\ell }_2$范数的正则化项，用来减少参数空间，避免过拟合【也可以使用${\ell }_1$范数使得参数有一定稀疏性】；$\lambda$用来控制正则化的强度。

正则化：给损失函数加上一些限制，通过这种规则去规范他们在接下来的循环迭代中不要自我膨胀，限制其较高次的参数大小不能过大。L2正则化对于绝对值较大的权重予以很重的惩罚，对于绝对值很小的权重予以非常非常小的惩罚，当权重绝对值趋近于0时，基本不惩罚。

一篇文章完全搞懂正则化（Regularization）-优快云博客

• 这块就先这样吧，之后学习机器学习的时候再细细总结一下。

（4）优化算法

确定训练集、假设空间和学习准则后，寻找期望的模型，是一个最优化问题。

参数与超参数

在机器学习中，优化又可以分为参数优化和超参数优化。模型$f(\mathbf{x},\theta )$中的$\theta$称为模型的参数，可以通过优化算法进行学习。还有一类参数是用来定义模型结构或优化策略的，这类参数叫作超参数（Hyper-Parameter）【贝叶斯方法中控制模型参数分布的系数】。
常见的超参数包括：聚类算法中的类别个数、梯度下降法中的步长、正则化项的系数、神经网络的层数、支持向量机中的核函数等。超参数的选取一般都是组合优化问题，很难通过优化算法来自动学习，因此，超参数优化是机器学习的个经验性很强的技术，通常是按照人的经验设定，或者通过搜索的方法对一组超参数组合进行不断试错调整。

Ⅰ.梯度下降法

机器学习中最简单、常用的优化算法，即首先初始化参数${\theta }_0$，然后通过迭代公式计算训练集$\mathcal{D}$上风险函数的最小值：

$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t-\alpha \frac{\partial R_{\mathcal{D}}(\theta )}{\partial \theta }\\ & ={\theta }_t-\alpha \frac{1}{N}\sum _{n=1}^N\frac{\partial \mathcal{L}\left(y^{(n)},f({\mathbf{x}}^{(n)};\theta )\right)}{\partial \theta }\end{array}$$

其中${\theta }_t$为第$t$次迭代时的参数值，$\alpha$为搜索步长/学习率。

Ⅱ.提前停止

针对梯度下降防止过拟合的一种方法。除了训练集和测试集之外，有时也会使用一个验证集（Validation Set）来进行模型选择，测试模型在验证集上是否最。在每次送代时，把新得到的模型在验证集上进行测试，并计算错误率，如果在验证集上的错误率不再下降，就停止送代。这种策略叫提前停止（Early Stop）。如果没有验证集，可以在训练集上划分出一个小比例的子集作为验证集。

Ⅲ.随机梯度下降法

在Ⅰ梯度下降法中，目标函数是整个训练集上的风险函数，这种方式称为批量梯度下降法（Batch Gradient Descent, BGD）。在每次送代时需要计算每个样本上损失函数的梯度并求和，当训练集中的样本数量N很大时，空间复杂度比较高，每次送代的计算开销也很大。批量梯度下降法相当于是从真实数据分布中采集N个样本，并由它们计算出来的经验风险的梯度来近似期望风险的梯度。

为了减少每次送代的计算复杂度，我们也可以在每次送代时只采集一个样本，计算这个样本损失函数的梯度并更新参数，即随机梯度下降法（Stochastic Gradient Descent，SGD）。当经过足够次数的送代时，模型在验证集上的错误率不再下降，随机梯度下降也可以收敛到局部最优解。

Ⅳ.小批量梯度下降法

随机梯度下降法不能充分利用计算机的并行能力。小批量梯度下降法（Mini-Batch Gradient Descent）是批量梯度下降法和随机梯度下降法的折中，即每次迭代只选取一小部分训练样本来计算梯度并更新参数。具有收敛快、计算开销小的优点，逐渐应用于大规模的机器学习的主要优化算法。