【深度学习I-基础知识】

1 基础知识

1.1 模型的基本概念

模型是现实世界中一类具有泛化共性的真实系统的数字化映像，是客观事物的简化表示，是连接真实世界和数字化世界的桥梁，源于现实世界，生根于数字化世界。

特点：

（1）可执行性：一个模型可以将现实世界的目标系统通过公式化的表示转为数字化世界，每一步都有坚实的计算基础和状态转换，并且还能从数字化世界转回现实世界。从这个意义上说，模型就是计算机，模型思维就是计算思维。

（2）普适性：一个模型，是用同一个有共性的计算机制所刻画的一族“长得很像”的现实世界真实系统。模型越有普适性，就越成功、越深入人心、越有应用价值。模型越有普适性，就意味着只需在参数上做一定的调整，就可以使模型快速适配一个在其覆盖范围内未知的、具体的现实世界真实系统。从这个意义上来说，模型就是生产力，模型思维就是解放生产力。

（3）数据驱动：一个模型与现实世界中被它所刻画的目标系统之间，事先就达成完美对应是非常罕见的。在大多数情况下，必须通过目标系统的外在表现来确定模型中的待定参数。这就是学习。学习，是模型方法最核心的部分。在模型基本确定的情况下，这个模型在能力上的“天花板”也随之确定。好的学习算法可以更快地触达这个模型的“天花板”，但无法突破这个“天花板”。要想突破“天花板”，还需要有更好的模型。从这个意义上来说，模型就是数据驱动的、带参数的计算框架，模型思维就是把数据转换为知识的框架设计。

1.2 机器学习

机器学习通过观察许多输入和目标的示例，来完成将输入（比如图像）映射到目标（比如标签“猫”）的过程）。大多数机器学习工作流程：

先来了解一下机器学习都有哪些方法。

1.2.1 概率建模

朴素贝叶斯算法是最著名的概率建模算法之一。该算法是一种机器学习分类器，“朴素”的假设输入数据的特征都是独立的。
logistic回归（logistic regression, 简称logreg）也是一种分类算法。

1.2.2 核方法

核方法是一组分类算法，其中最有名的是支持向量机（support vector machine, SVM）。SVM的原理是找到划分两个类别的“决策边界”，通过以下两步：

（1）将数据映射到新的高维表示，以便将决策边界可以用超平面表示（若数据图像是二维的，那么超平面就是一条直线）。

（2）尽量让超平面与每个类别最近的数据点之间的距离最大化，从而计算出良好的决策边界，也就是分离超平面，也称之为间隔最大化，使得决策边界可以很好地推广到训练数据集之外的新样本。

核技巧的基本思想是：要在新的表示空间中找到良好的决策超平面，不需要直接计算点在新空间中的坐标，只需要计算在新空间中点与点之间的距离，而利用核函数可以高效地完成这种计算。核函数（kernel function）是一个在计算上容易实现的运算，它将初始空间中的任意两点映射为这两点在目标表示空间中的距离，从而完全避免了直接计算新的表示。核函数通常是人为选择的，而不是从数据中学到的——对于SVM来说，只有分离超平面是通过学习得到的。

但是，SVM很难扩展到大型数据集，并且在图像分类等感知问题上的效果也不好。SVM是一种浅层方法，因此要将其应用于感知问题，首先需要手动提取出有用的表示（这一步骤叫作特征工程）。这一步骤很难，而且不稳定。如果想用SVM来进行手写数字分类，那么你不能从原始像素开始，而应该首先手动找到有用的表示（比如前面提到的像素直方图），使问题变得更易于处理。

1.2.3 决策树、随机森林和梯度提升机

决策树（decision tree）是类似于流程图的结构，可以对输入数据进行分类或根据输入预测输出值，如图所示。决策树的可视化和解释都很简单。在21世纪前10年，从数据中进行学习的决策树开始引起研究人员的浓厚兴趣。到了2010年，决策树往往比核方法更受欢迎。