机器学习算法总结（一）有监督学习

有监督学习

• 数据集有标记(答案)
• 若预测的值是离散值，如年龄，此类学习任务称为“分类”
• 若预测的值是连续值，如房价，此类学习任务称为“回归”

线性回归

线性回归是在样本属性和标签中找到一个线性关系的方法，根据训练数据找到一个线性模型，使得模型产生的预测值与样本标 签的差距最小。

若用表示第𝑘个样本的第𝑖个属性，则线性模型一般形式为：
$$f(x^k)=w_1{x}_1^k+w_2{x}_2^k+\cdots +w_m{x}_m^k+b=\sum _{i=1}^m{w}_i{x}_i^k+b$$
线性回归学习的对象就是权重向量𝑤和偏置向量𝑏。如果用最小均方 误差来衡量预测值与样本标签的差距，那么线性回归学习的目标可以表示为：
$$(w^{\ast },b^{\ast })=argmi{n}_{(w,b)}\sum _{k=1}^n(f(x^k)-y^k{)}^2=argmi{n}_{(w,b)}\sum _{k=1}^n(w^T{x}^k+b-y^k{)}^2$$

逻辑回归

逻辑回归是利用𝑠𝑖𝑔𝑚𝑜𝑖𝑑函数，将线性回归产生的预测值压缩到0和1之间。此时将𝑦视作样本为正例的可能性，即
$$g(f(x^k))=\{\begin{array}{l}1,\frac{1}{1+e^{-(w^T{x}^k+b)}}\ge 0.5\\ 0,otherwise\end{array}$$
注意，逻辑回归本质上属于分类算法，sigmoid函数的具体表达形式为：$g(x)=\frac{1}{1+e^{-x}}$.

支持向量机

支持向量机是有监督学习中最具有影响力的方法之一，是基于线性判别函数的一种模型。

SVM基本思想：对于线性可分的数据，能将训练样本划分开的超平 面有很多，于是我们寻找“位于两类训练样本正中心的超平面”， 即margin最大化。从直观上看，这种划分对训练样本局部扰动的承 受性最好。事实上，这种划分的性能也表现较好。

下面我们以线性分类为例：二类可分数据集, 其中 $y=1$ 和 $y=-1$ 分别表示两类样本，定义分类的超平面 $f(x)=w^{T}x+b$（决策边界 decision boundary) ， “最合适”的分类标准就是使得超平面距离两边数据的间隔最大。

记 $\gamma$ 为样本 x 到超平面的距离，那么有
$$\begin{array}{rl}x& =x_0+\gamma \frac{w}{\Vert w\Vert }\\ \gamma & =\frac{w^{T}x+b}{\Vert w\Vert }=\frac{f(x)}{w}\end{array}$$
目标函数：
$$\begin{gathered} \arg \underset{w,b}{\max }\arg \underset{x_i\in D}{\min }\frac{|w^T{x}_i+b|}{\sqrt{{\sum }_{i=1}^d{w}_i^2}} \\ s.t.\forall x_i\in D,y_i(w^T{x}_i+b)\ge 0 \end{gathered}$$
通常为方便优化，我们选择加强约束条件：$\forall x_i\in D,|w^T{x}_i+b|\ge 1$.

那么，原问题可以近似为：
$$\begin{gathered} \arg \underset{w,b}{\min }\frac{1}{2}\sum _{i=1}^d{w}_i^2 \\ s.t.\forall x_i\in D,|w^T{x}_i+b|\ge 1 \end{gathered}$$
对于线性不可分的数据集，我们可以做下面的操作

• 特征空间存在超曲面(hypersurface)将正类和负类分开
• 核函数(kernelfunction)
  • 使用非线性函数将非线性可分问题从原始的特征空间映射至更高维
  • 决策边界的超平面表示为 $w^T\varphi (x)+b=0$.
  • 定义映射函数的内积为核函数 $K(X_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$.

决策树

决策树是一种基于树结构进行决策的机器学习方法，这恰是人类面临决策 时一种很自然的处理机制。

• 在这些树的结构里，叶子节点给出类标而内部节点代表某个属性；
• 例如，银行在面对是否借贷给客户的问题时，通常会进行一系列的决 策。银行会首先判断:客户的信贷声誉是否良好?良好的话，再判断 客户是否有稳定的工作? 不良好的话，可能直接拒绝，也可能判断客 户是否有可抵押物?..这种思考过程便是决策树的生成过程。

决策树的生成过程中，最重要的因素便是根节点的选择，即选择哪种特征作为决策因素：ID3算法使用信息增益作为准则。

随机森林

• 集成学习(Ensemblelearning)

  • 组合多个弱监督模型以期得到一个更好更全面的强监督模型，集成学 习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分 类器也可以将错误纠正回来。

• 随机森林用随机的方式建立起一棵棵决策树，然后由这些决策树组成 一个森林，其中每棵决策树之间没有关联，当有一个新的样本输入 时，就让每棵树独立的做出判断，按照多数原则决定该样本的分类 结果。

随机森林构建的基本步骤

• 随机有放回地从训练集中的抽取m个训练样本,训练集 $D_t$.
• 从 $D_t$ 对应的特征属性中随机选择部分特征，构建决策树
• 重复上述步骤构建多个决策树

预测步骤

• 向建立好的随机森林中输入一个新样本
• 随机森林中的每棵决策树都独立的做出判断
• 将得到票数最多的分类结果作为该样本最终的类别

无监督学习

• 数据集没有标记信息(自学)
• 聚类：我们可以使用无监督学习来预测各样本之间的关联度，把关 联度大的样本划为同一类，关联度小的样本划为不同类，这便是 “聚类”
• 降维：我们也可以使用无监督学习处理数据，把维度较高、计算复 杂的数据，转化为维度低、易处理、且蕴含的信息不丢失或较少丢 失的数据，这便是“降维”

聚类

聚类的目的是将数据分成多个类别，在同一个类内，对象(实体)之间具 有较高的相似性，在不同类内，对象之间具有较大的差异。

对一批没有类别标签的样本集，按照样本之间的相似程度分类，相似的归为一类，不相似的归为其它类。这种分类称为聚类分析，也 称为无监督分类

常见方法有K-Means聚类、均值漂移聚类、基于密度的聚类等

K-means聚类是一个反复迭代的过程，算法分为四个步骤：

1. 选取数据空间中的K个对象作为初始中心，每个对象代表一个聚 类中心；
2. 对于样本中的数据对象，根据它们与这些聚类中心的欧氏距离， 按距离最近的准则将它们分到距离它们最近的聚类中心(最相似) 所对应的类；
3. 更新聚类中心:将每个类别中所有对象所对应的均值作为该类别 的聚类中心，计算目标函数的值；
4. 判断聚类中心和目标函数的值是否发生改变，若不变，则输出结 果，若改变，则返回2)。

降维

降维的目的就是将原始样本数据的维度𝑑降低到一个更小的数𝑚，且尽量使得样本蕴含信息量损失最小，或还原数据时产生的误差最小。比如主成分分析法…

降维的优势：

• 数据在低维下更容易处理、更容易使用；
• 相关特征，特别是重要特征更能在数据中明确的显示出来；
• 如果只有二维或者三维的话，能够进行可视化展示；
• 去除数据噪声，降低算法开销等。