统计学习方法 第八章 提升方法

第八章 提升方法

• 在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器线性组合，提高分类的性能，

8.1 提升方法AdaBoost

• 强可学习 & 弱科学习：
  • 在概率近似正确（probably approximately correct, PAC)学习的框 架中，一个概念（类），如果存在一个多项式的学习算法能够学习 它，并且正确率很高，称这个概念是强可学习的；
  • 一个概念（类），如果存在一个多项式的学习算法能够学习它，学 习的正确率仅比随机猜测略好，则称这个概念是弱可学习的。
  • 在PAC学习的框架下，一个概念是强可学习的充分必要条件是这个 概念是弱可学习。

1. 提升方法的基本思路

• 怎么获得不同的弱分类器：
  • 使用不同的弱学习算法得到不同基本学习器
    • 参数估计、非参数估计…
  • 使用相同的弱学习算法，但用不同的参数
    • K-Mean不同的K，神经网络不同的隐含层…
  • 相同输入对象的不同表示凸显事物不同的特征
  • 使用不同的训练集
    • 装袋（bagging） 提升（boosting）
• 如何将弱分类器组合成一个强分类器：
  • 多专家组合
    • 一种并行结构