六、 集成学习(下)

一、 结合策略

1. 平均法

对于数值型输出，最常见的结合策略是使用平均法

• 简单平均法
  
  h(x)为基学习器的输出
• 加权平均法
  

基学习器的权重一般是根据训练数据得到的，所以不完全可靠，对于规模较大的集成学习来说，容易造成过拟合，所以加权平均不一定优于简单平均。一般而言，在基学习器性能相差较大时，选择加权平均，基学习器性能类似时，选择简单平均。

2. 投票法

• 绝对多数投票法
  得票最多的类别要超过50%，否则拒绝预测。
  
• 相对多数投票法
  得票最多即可，不需要超过50%
  
• 加权平均法
  

3. 注意

• 分类器输出有两种类型
  1. 类标记：直接输出标签
  2. 类概率： 输出属于某个类的概率

1. 不同类别的输出不能混用
2. 有些分类器在输出类别的同时也输出了分类置信度，可以把置信度作为类概率使用
3. 虽然分类器估计出的概率值一般不太准确，但对类概率进行结合往往比对类标签结合效果要好。
4. 若基学习器类型不同，其类概率值不能直接进行比较；此时应先把类概率转换为类标记，再进行结合。

4. 学习法----Stacking

Stacking先从初始数据集训练出初级学习器，再把初级学习器的输出组合成新的数据集；
在这个新数据集中，初级学习器的输出被当作样例输入特征，而初始样本的标记仍被当作样例标记。
初级集成是异质的(初级学习器使用不同类型的学习器)

二、多样性

1. 多样性度量

多样性度量是用于度量集成中个体分类器的多样性，即估算个体学习器的多样化程度。
典型做法是考虑个体分类器的两两相似/不相似性。

假设有两个分类器 h_i和 h_j ，预测结果列联表为：

• 不合度量：
  
  dis _ij的值域为 [0,1],值越大则多样性越大。

• 相关系数
  
  值域为[-1,1]，若 h_i和 h_j无关，则值为0；若正相关则为正，否则为负。

• Q-统计量
  
  Q统计量与相关系数的符号相同。

• K-统计量
  
  其中，p₁是两个分类器取得一致的概率；p₂是两个分类器偶然达成一致的概率，它们可由数据集D估算：
  
  若分类器h_i和 h_j 在D上完全一致，则k = 1；若它们仅是偶然达成一致，则k = 0. k通常为非负值，仅在h_i和 h_j 达成一致的概率甚至低于偶然性的情况下取负值。

三、多样性增强

• 数据样本扰动
  基于采样法产生不同数据子集，利用不同子集训练出不同的个体学习器，例如Bagging自助采样；AdaBoost序列采样；此类扰动方法对不稳定基学习器很有效。

• 输入属性扰动
  通过对初始属性中提取子空间(属性子集),在不同的空间中训练个体学习器。

• 输出表示扰动
  

• 算法参数扰动
  设置算法的参数，如神经网络的隐层神经元数，连接权值等。