机器学习算法_第1篇

决策树

• 介绍

  决策树基本思想：以信息熵为度量构造一颗熵值下降最快的树，到叶子节点处的熵值为0，此时每个叶子节点的实例都属于同一类。它是一种自顶向下的递归方法。

• 优点

  • 易于理解和实现；
  • 数据的准备往往简单或者不必要；
  • 能够同时处理数据型和常规型属性；
  • 是一个白盒模型；易于通过静态测试来对模型进行评测；
  • 在相对较短的时间内能够对大型数据源做出可行且效果良好的结果

• 方法

  • ID3 ：信息增益最大准则
  • C4.5：信息增益比最大准则
  • CART：
    
    • 回归树：平方误差最小准则
    • 分类树：基尼系数最小准则

Adaboost算法

• 简介

  Adaboost算法基本四线：将弱学习算法提升为强学习方法。对于分类器问题：从弱学习算法出发，反复学习，得到一系列弱分类器（又称基本分类器）；然后组合这些弱分类器，构成一个强分类器。

• 实现

  Adaboost算法目的：使错误分类样本的权值加大，在后一轮的弱分类器中，得到更多关注。

  • 提高前一轮弱分类器错误分类样本的权值
  • 降低被正确分类器样本的权值

  Adaboost采用加权多数表决的方法将弱分类器组合在一起。

  • 加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用。
  • 减小分类误差率大的弱分类器的权值，使其在表决中起较小的作用。

  Adaboost算法的训练误差是以指数速率下降的。

• 本质

  Adaboost是前向分布加法算法的特例：

  • 加法模型：有基本分类器组成
  • 损失函数：指数函数

• GDBT

  步骤：

  • 求出损失函数的负梯度，当做残差的近似值
  • 然后让一棵树去拟合每个样本的残差
    
    • 回归树和决策树很类似，只是回归树把落入叶子节点的样本，对于他们的标签求了个平均值输出。注意：这里的标签，对于GBDT来说，是每一个样本的残差
  • 然后再去求这棵树的占的比重
    
    • 线性搜索求系数，即每棵树的系数
    • 最后的模型用这些树融合

支持向量机SVM

• 简介

  支持向量机基本思想：间隔最大化。其学习算法是求解凸二次规划的最优化算法。

• 分类

  • 线性可分支持向量机：硬间隔最大化（硬间隔支持向量机）
  • 线性支持向量机：软间隔最大化（软间隔支持向量机）
  • 非线性支持向量机：核函数（核方法）

• 算法

  • 间隔最大化
    
    • 1）求几何间隔最大的分离超平面；
    • 2）换成函数间隔（不影响最优化问题的解）
    • 3）最终转变成求解凸二次规划问题。
  • 对偶算法
    
    • 1）求对应的Lagrange函数
    • 2）得到原问题
    • 3）转换原问题的对偶问题，求导，后求极大值
  • 最大分离超平面
    
    • 1）求对偶问题的最优解，即原问题的最优解
    • 2）得到最大分离超平面
    • 3）得到分类决策函数

EM算法

• 简介

  EM算法只有输入，内有对应的输出，属于非监督学习。它的目标函数是最大化对数似然函数。

• 整体矿建**

  • E-step计算
  • M-step计算

  经常与高斯混合函数一起使用，用于参数求解。