tyrroo的博客

1、过拟合问题　　欠拟合：根本原因是特征维度过少，模型过于简单，导致拟合的函数无法满足训练集，误差较大；　　　　　　解决方法：增加特征维度，增加训练数据；　　过拟合：根本原因是特征维度过多，模型假设过于复杂，参数过多，训练数据过少，噪声过多，导致拟合的函数完美的预测训练集，但对新数据的测试集预测结果差。过度的拟合了训练数据，而没有考虑到泛化能力。　　　　　　解决方法：（1）减少特征...

　　集成学习有两个流派，一个是boosting派系，它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。1. bagging的原理在集成学习原理总结中，给出bagging的原理图。　　(1)、Bagging的特点“随机采样”。随机采集跟训练集个数m相同的样本，采集T次。得到采样集。　　(注意：GBDT(Gr...