集成学习框架-学习小结20161121

1 参数可分为两种，一种是影响模型在训练集上的准确度或是影响防止过拟合能力的参数；另外一种是不影响这两者的其他参数。模型在样本总体上的准确度（后简称准确度）由其在训练集上的准确度及其防止过拟合的能力所共同决定，所以在调参时，我们主要对第一种参数进行调整，最终达到的效果是：模型在训练集上的准确度和防止过拟合能力的大和谐！
2 简单来说，集成学习是一种技术框架，其按照不同的思路来组合基础模型。目前有三种常见的集成学习框架：bagging boosting和stacking。
3 bagging ： 从训练集进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合，产生最终的预测效果：

4 boosting：训练过程为阶梯状，基模型按次序一一进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果。

5 stacking：训练好的所有基模型对训练基进行预测，第j个基模型对第i个训练样本的预测值将作为新的训练集中第i个样本的第j个特征值，最后基于新的训练集进行训练。同理，预测的过程也要先经过所有基模型的预测形成新的测试集，最后再对测试集进行预测：

6 广义的偏差（bias）描述的是预测值和真实值之间的差异，方差（variance）描述的是预测值作为随机变量的离散程度。
7 模型的差异性为模型的结构差异。研究模型的方差的显示意义：方差越大的模型越容易过拟合。
8 集成学习框架中的基模型是弱模型，通常来