20、集成学习与情感分析实战

集成学习与情感分析实战

1. 集成学习技术概述

集成学习方法通过结合不同的分类模型来抵消它们各自的弱点，从而得到稳定且性能良好的模型，这在工业应用和机器学习竞赛中都极具吸引力。

1.1 梯度提升

梯度提升是提升算法的另一种流行变体。它与 AdaBoost 有共同的核心概念，即把弱学习器（如决策树桩）提升为强学习器。不过，自适应提升和梯度提升在权重更新方式和（弱）分类器组合方式上有所不同。

如果你熟悉基于梯度的优化并且对梯度提升感兴趣，推荐阅读 Jerome Friedman 的论文（Greedy function approximation: a gradient boosting machine. Jerome Friedman. Annals of Statistics 2001, pp.1189 - 1232）以及关于 XGBoost 的最新论文（XGBoost: A scalable tree boosting system. Tianqi Chen and Carlos Guestrin. Proceeding of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM 2016, pp. 785 - 794）。

在 scikit - learn 中，除了 GradientBoostingClassifier 实现外，0.21 版本还包含了一个更快的梯度提升版本 HistGradientBoostingClassifier，它甚至比 XGBoost 还快。更多关于 scikit - learn 中 Gra