动手学深度学习-第一天（前言）

1.2关键组件

数据（data）

模型（model）

目标函数（objective function）

算法（algorithm）

1.2.1数据

每一数据集都是由一个个样本组成，样本有时也被称为数据点（data point）或者数据实例（data instance）。

1.2.3目标函数

在机器学习中，我们需要定义模型的优劣程度的度量，这个度量在大多数情况是“可优化”的，我们称之为目标函数（objective function）。

通常，损失函数是根据模型参数定义的，并取决于数据集。 在一个数据集上，我们通过最小化总损失来学习模型参数的最佳值。 该数据集由一些为训练而收集的样本组成，称为训练数据集（training dataset，或称为训练集（training set））。 然而，在训练数据上表现良好的模型，并不一定在“新数据集”上有同样的效能，这里的“新数据集”通常称为测试数据集（test dataset，或称为测试集（test set））。

训练数据集用于拟合模型参数，测试数据集用于评估拟合的模型。 然后我们观察模型在这两部分数据集的效能。

1.2.4优化算法

深度学习中，大多流行的优化算法通常基于一种基本方法–梯度下降（gradient descent）。

1.3机器学习问题

1.3.1监督学习

监督学习（supervised learning）擅长在“给定输入特征”的情况下预测标签。 每个“特征-标签”对都称为一个样本（example）。

1.3.1.1回归

任何有关“多少”的问题很可能就是回归问题。

例如：

这个手术需要多少小时？

在未来六小时，这个镇会有多少降雨量？

1.3.1.2. 分类

这种“哪一个？”的问题叫做分类（classification）问题。 在分类问题中，我们希望模型能够预测样本属于哪个类别（category，正式称为类（class））。

有两个以上的类别时，我们把这个问题称为多元分类。

与解决回归问题不同，分类问题的常见损失函数被称为交叉熵（cross-entropy）。

1.3.2无监督学习

这类数据中不含有“目标”的机器学习问题为无监督学习（unsupervised learning）。

聚类（clustering）问题

主成分分析（principal component analysis）问题

因果关系（causality）和概率图模型（probabilistic graphical models）问题

生成对抗性网络（generative adversarial networks）

1.3.4. 强化学习