【机器学习基础】集成学习

🚀个人主页：为梦而生~ 关注我一起学习吧！
💡专栏：机器学习 欢迎订阅！相对完整的机器学习基础教学！
⭐特别提醒：针对机器学习，特别开始专栏：机器学习python实战 欢迎订阅！本专栏针对机器学习基础专栏的理论知识，利用python代码进行实际展示，真正做到从基础到实战！
💡往期推荐：
【机器学习基础】一元线性回归（适合初学者的保姆级文章）
【机器学习基础】多元线性回归（适合初学者的保姆级文章）
【机器学习基础】对数几率回归（logistic回归）
【机器学习基础】正则化
【机器学习基础】决策树（Decision Tree）
【机器学习基础】K-Means聚类算法
【机器学习基础】DBSCAN
【机器学习基础】支持向量机
💡本期内容：
集成学习（Ensemble Learning）是一种通过结合多个弱分类器的预测结果，来得到一个更强大的分类器的方法。它基于“群体智慧”，通过对多个模型结果的综合，可以缓解过度拟合和欠拟合等问题，并提升预测性能。常见的集成学习算法包括 Boosting、Bagging、随机森林等。其中，Boosting 是一种将多个弱分类器变成强分类器的算法，Bagging 是一种基于 Bootstrap 取样的集成学习算法，随机森林则是一种结合决策树和 Bagging 的方法。集成学习在机器学习和数据挖掘领域有着广泛的应用，例如在图像分类、自然语言处理、信用风险评估等任务中表现出了良好的性能。

---

---

1 个体与集成

集成学习(ensemble learning)通过构建并结合多个学习器来提升性能

1.1 集成个体

考虑一个简单的例子，在二分类问题中，假定3个分类器在三个样本中的表现如下图所示，其中√ 表示分类正确，X 号表示分类错误，集成的结果通过投票产生。

通过上表我们可以发现一个问题，如果每个学习器分类结果都是相同的，那么集成之后跟一个学习器其实差不多，就像是(b)；

但是如果“八仙过海各显神通”，各个学习器在集成之后尽可能的显现了自己的能力，并且集成后的强分类器的性能还得到了提升，那么我们就认为集成的效果是好的，例如(a);

除此之外，如果各个学习器集成到一起并没有使得总的分类性能得