【机器学习】机器学习的基本分类-监督学习-随机森林（Random Forest）

随机森林是一种基于集成学习（Ensemble Learning）思想的算法，由多个决策树构成。它通过结合多棵决策树的预测结果来提升模型的泛化能力和准确性，同时减少过拟合的风险。

---

1. 随机森林的核心思想

1. 多样性：
   • 随机森林通过引入随机性，使每棵树有所不同，从而避免单一模型的过拟合问题。
2. 集成决策：
   • 对于分类问题，随机森林通过多数投票法确定最终类别。
   • 对于回归问题，随机森林通过平均法预测最终结果。

随机森林的“随机性”体现在两个方面：

• 数据随机性（Bagging 方法）：
  • 每棵树训练时使用一个由原始训练集通过**自助采样法（Bootstrap Sampling）**生成的样本子集。
  • 每个样本子集中可能包含重复的数据，也可能遗漏一些数据（袋外样本，Out-Of-Bag）。
• 特征随机性：
  • 每次节点分裂时，随机选择特征的子集作为候选，进一步增加模型的多样性。

---

2. 随机森林的构建过程

(1) 构建步骤

1. 输入࿱