2021-04-28

机器学习

1，监督学习

从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求包括输入输出，也可以说是特征和目标。训练集中的目标是由人标注的。监督学习就是最常见的分类（注意和聚类区分）问题，通过已有的训练样本（即已知数据及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优表示某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的。也就具有了对未知数据分类的能力。监督学习的目标往往是让计算机去学习我们已经创建好的分类系统（模型）。

	监督学习常见的分为两类，即回归（regression）和分类（classification）

回归问题：就是拟合（x，y）的一条曲线，使得价值函数(costfunction)最小。

分类问题：分类问题首先要给定有lable的数据训练分类器，故属于有监督学习过程。分类过程中cost function l(X,Y)是X属于类Y的概率的负对数。

2.无监督学习

输入数据没有被标记，也没有确定的结果。样本数据类别未知，需要根据样本间的相似性对样本集进行分类（聚类，clustering）试图使类内差距最小化，类间差距最大化。通俗点将就是实际应用中，不少情况下无法预先知道样本的标签，也就是说没有训练样本对应的类别，因而只能从原先没有样本标签的样本集开始学习分类器设计。

非监督学习目标不是告诉计算机怎么做，而是让它（计算机）自己去学习怎样做事情。非监督学习有两种思路。第一种思路是在指导Agent时不为其指定明确分类，而是在成功时，采用某种形式的激励制度。需要注意的是，这类训练通常会置于决策问题的框架里，因为它的目标不是为了产生一个分类系统，而是做出最大回报的决定，这种思路很好的概括了现实世界，agent可以对正确的行为做出激励，而对错误行为做出惩罚。

无监督学习的方法分为两大类：

(1) 一类为基于概率密度函数估计的直接方法：指设法找到各类别在特征空间的分布参数，再进行分类。

(2) 另一类是称为基于样本间相似性度量的简洁聚类方法：其原理是设法定出不同类别的核心或初始内核，然后依据样本与核心之间的相似性度量将样本聚集成不同的类别。

本文章讲细致介绍两类问题：

1.监督学习

特别经典的房价的例子，暂且认为影响房价的因素只有面积（实际情况暂且不考虑），图中的每一个点都是我们的数据集，然后我们根据点的特征拟合出一个函数，很明显蓝色的线拟合的更好，图中绿色的点代表朋友房子的面积，这就是我们的测试集，预测出房价。

第二个经典的例子就是乳腺癌了，如图，我们假设乳腺癌是良性还是恶性只与大小有关，图中黄色的线可以认为是我们拟合出的判断良恶的界限。
很明显，良恶性的判断值考虑大小是不准确的，所以我们增加了一个判断的维度，患者的年龄。如图：

根据大量的数据，得出黑色的线来判断。‘
可以看出，结果依然不是相当准确的，然后我们可以继续增加判断的维度，这就是监督学习的过程。

2.无监督学习

监督学习的过程中，我们每一个数据都有标签，计算机知道所谓的对与错来判断，无监督学习的数据集都有相同的标签或者没有标签，例如：

无监督学习可以判断