28、机器学习集成算法与深度学习模型构建

机器学习集成算法与深度学习模型构建

一、数据特征重要性分析

在分析数据时，我们发现不同特征对价格的影响程度不同。例如，房间数量在决定房价方面最为重要，而房屋是否毗邻查尔斯河这一因素的影响最小。这是合理的，因为房间数量和周边社区的经济状况通常对房价有重大影响。以下是部分特征及其对应数值：
| 特征 | 数值 |
| ---- | ---- |
| RAD | 0.007896 |
| INDUS | 0.002389 |
| ZN | 0.000766 |
| CHAS | 0.000213 |

二、集成学习方法

（一）Bagging与Boosting概述

Bagging通过自助法（bootstrapping）在相似的预测器中引入一些变化，从而降低方差。当创建的模型彼此不同时，Bagging最为有效，并且它主要与决策树一起使用。然而，Bagging及其衍生的随机森林（RFs）并不是利用集成的唯一方法。

Boosting则是一种与之相反的策略，它通过顺序构建模型，并使用前一个模型的信息来训练下一个模型，从而创建相互关联的简单机器学习算法集成，以解决复杂的目标函数。常见的Boosting算法有AdaBoost、GBM和XGBoost。

与Bagging倾向于使用完全生长的树不同，Boosting使用有偏模型，这些模型能够很好地预测简单的目标函数。简单模型包括单分支决策树（称为树桩）、线性模型、感知机和朴素贝叶斯算法。这些模型在目标函数复杂时可能表现不佳，但它们训练速度快，并且比随机猜测略好，能够对目标函数的一部分进行建模。

（二）AdaB