【分类算法】随机森林超详细解析

机器学习5—分类算法之随机森林(Random Forest) 随机森林(Random Forest)是Bagging(一种并行式的集成学习方法)的一个拓展体,它的基学习器固定为决策树,多棵树也就组成了森林,而“随机”则在于选择划分属性的随机,随机森林在训练基学习器时,也采用有放回采样的方式添加样本扰动,同时它还引入了一种属性扰动,即在基决策树的训练过程中,在选择划分属性时,Random Forest先从候选属性集中随机挑选出一个包含K个属性的子集,再从这个子集中选择最优划分属性,一般推荐K=log2(d)。... 阅读详情

机器学习分类算法——随机森林超详细解析(适合本科/研究生)

随机森林是机器学习领域最经典的集成学习算法,也是工业界和科研中最常用的“万能模型”之一。它基于决策树和集成思想,通过引入“随机抽样”和“随机选特征”两大核心机制,完美解决了单棵决策树易过拟合、稳定性差的问题,兼具高准确率、强鲁棒性、易用性三大优点,既适合本科/研究生算法入门,也能直接落地到各类分类和回归实战场景。

本文将用通俗的语言拆解随机森林的核心概念、数学原理、算法流程,结合Python实战实现从数据生成、可视化到模型调优、评估的全流程,最后分析其优缺点、与其他算法的对比及适用场景,内容可直接复制到优快云使用,适配院校学习和科研入门需求。

一、随机森林核心概念:从“通俗理解”到核心定位

1. 随机森林是什么?用生活案例讲明白

随机森林可以简单理解为一个“集体投票做决策”的智能团队,核心由多棵独立的决策树组成,其工作逻辑和“多人商量做选择”完全一致:

  • 单棵决策树 = 团队中的一个成员,根据自己的“经验”(训练数据)对问题做出独立判断(预测);
  • 随机森林 = 整个团队,对所有成员的判断结果进行“多数表决”(分类)或“取平均值”(回归),最终得到团队的统一决策。

生活案例:你拿不定主意今晚吃什么,于是问了50个朋友(50棵决策树),有人推荐火锅、有人推荐烧烤、有人推荐披萨,最后统计发现推荐火锅的人最多(多数表决),你就决定吃火锅——这就是随机森林的核心思想:集思广益,少数服从多数。

2. 为什么叫“随机”森林?两大核心随机性

随机森林的“随机”是其解决单棵决策树缺陷的关键,体现在训练过程的两个核心环节,通过随机性让每棵决策树的“视角”不同、“想法”多样,最终让集体决策更稳健:

随机1:随机选数据(Bootstrap自助采样)

每棵决策树的训练数据不是全部原始数据,而是从原始数据中有放回地随机抽取的一个子集(样本数和原始数据一致)。

  • 效果:每棵树学到的信息存在差异,避免了所有树“同质化”,减少了树之间的相关性。
随机2:随机选特征

每棵决策树在进行节点分裂(做判断)时,不是使用所有特征,而是从所有特征中随机抽取一部分特征,仅在这部分特征中寻找最优分裂点。

  • 效果:让每棵树的“判断依据”不同,进一步提升了树的多样性,避免模型过度依赖某几个核心特征。

3. 随机森林的核心定位

  • 集成学习代表:属于Bagging(自助聚合) 类集成学习,通过并行训练多棵独立模型,降低单模型的方差,提升整体泛化能力;
  • 分类/回归通吃:既能解决二分类、多分类问题(如物体识别、欺诈检测),也能解决回归问题(如房价预测、销量预测);
  • 工业界万能模型:无需复杂的特征预处理,调参简单,基线性能高,是各类机器学习任务的首选基线模型;
  • 特征重要性分析:能直接输出特征对预测结果的重要性评分,是特征工程、模型解释的重要工具。

二、随机森林的理论基础:从决策树到集成思想

随机森林的基础是单棵决策树,核心是Bagging集成思想+随机性引入,其数学原理是决策树原理与集成概率的结合,整体难度低,是本科概率统计和机器学习基础的直接应用。

1. 前置基础:单棵决策树的核心原理

随机森林由多棵决策树组成,先快速回顾单棵决策树的核心知识点,为后续理解打基础:

(1)决策树的核心操作:节点分裂

决策树是基于特征阈值分割数据的树状模型,每个内部节点的分裂操作可表示为:
G(Xj,t)={左子树,ifXj≤t右子树,ifXj>tG\left(X_{j}, t\right)= \begin{cases} 左子树, & if X_{j} \leq t \\ 右子树, & if X_{j}>t\end{cases}G(Xj​,t)={左子树,右子树,​ifXj​≤tifXj​>t​

  • XjX_jXj​:用于分裂的特征;
  • ttt:该特征的分裂阈值;
  • 分裂目标:让分裂后的子节点数据更“纯净”(同类样本尽可能集中)。
(2)分类/回归的分裂评价指标

决策树根据任务类型选择不同的指标判断“最优分裂点”,也是随机森林中每棵树的分裂依据:

① 分类问题:基尼不纯度(Gini Index)

衡量节点的数据不纯度,值越小,节点内样本的类别越单一(越纯净):
Gini(p)=1−∑k=1Kpk2Gini(p)=1-\sum_{k=1}^{K} p_{k}^{2}Gini(p)=1−∑k=1K​pk2​

  • pkp_kpk​:当前节点中第kkk类样本的占比;
  • KKK:样本的总类别数。
② 回归问题:均方误差(MSE)

衡量节点内预测值与真实值的偏差程度,值越小,节点的预测越准确:
MSE=1n∑i=1n(yi−y^)2MSE=\frac{1}{n} \sum_{i=1}^{n}\left(y_{i}-\hat{y}\right)^{2}MSE=n1​∑i=1n​(yi​−y^​)2

  • yiy_iyi​:样本的真实值;
  • y^\hat{y}y^​:节点内所有样本的预测值(通常为平均值);
  • nnn:节点内的样本数。
(3)单棵决策树的核心局限性

这也是随机森林需要解决的核心问题:

  1. 易过拟合:树的深度越大,越容易学习到训练数据的噪音,导致“训练集表现极好,测试集表现极差”;
  2. 稳定性差:对训练数据的微小变化极其敏感,数据稍作调整,生成的树结构可能完全不同;
  3. 泛化能力弱:单棵树的决策视角单一,难以应对复杂的非线性数据。

2. 随机森林的核心思想:用“集成+随机”解决单树缺陷

随机森林的核心逻辑可以总结为:用Bagging实现集成,用双重随机性提升树的多样性,最终实现“降低方差、保持偏差、提升泛化能力”。

  • 偏差:模型的拟合能力,偏差低表示模型能很好地拟合训练数据;
  • 方差:模型对数据扰动的敏感程度,方差低表示模型对噪音、数据变化不敏感;
  • 核心效果:多棵树的集成决策,能有效降低单棵树的高方差,同时保持单棵树的低偏差,让整体模型既拟合数据又稳健。

3. 随机森林的数学原理

(1)第一步:Bootstrap自助采样(生成随机数据子集)

假设原始数据集为D=(x1,y1),...,(xn,yn)D={(x_{1}, y_{1}), ...,(x_{n}, y_{n})}D=(x1​,y1​),...,(xn​,yn​)(nnn为样本数),随机森林通过有放回的随机抽样生成BBB个数据子集D1,D2,...,DBD_1,D_2,...,D_BD1​,D2​,...,DB​,每个子集的样本数与原始数据一致。

  • 有放回采样:部分样本可能被多次抽取,部分样本可能从未被抽取(这些未被抽取的样本称为袋外样本(OOB),可用于模型的无验证集评估);
  • 效果:每个子集的样本分布存在差异,让基于不同子集训练的决策树具有多样性。
(2)第二步:随机特征选择(生成随机特征子集)

对每棵决策树的每个节点分裂时,从总特征数MMM中随机抽取mmm个特征(m≪Mm \ll Mm≪M,通常取m=Mm=\sqrt{M}m=M​),仅在这mmm个特征中寻找最优分裂点。

  • 特征子集:每棵树的不同节点,随机抽取的特征子集都不同;
  • 效果:降低了树与树之间的相关性,让集成的效果更显著(集成学习的核心要求:基模型独立且多样)。
(3)第三步:集成预测(分类/回归的不同规则)

训练完成后,随机森林对新样本的预测结果由所有决策树的结果集成而来,分类和回归采用不同的规则:

① 分类问题:多数表决(硬投票)

对每棵树的预测类别进行投票,选择票数最多的类别作为最终预测结果:
y^=argmaxk∑b=1BI(hb(x)=k)\hat{y}=argmax_{k} \sum_{b=1}^{B} \mathbb{I}\left(h_{b}(x)=k\right)y^​=argmaxk​∑b=1B​I(hb​(x)=k)

  • BBB:随机森林中决策树的总数;
  • hb(x)h_b(x)hb​(x):第bbb棵决策树对样本xxx的预测类别;
  • I(⋅)\mathbb{I}(\cdot)I(⋅):指示函数,条件成立时为1,否则为0;
  • kkk:样本的类别标签。
② 回归问题:取平均值

对每棵树的预测连续值取算术平均值,作为最终预测结果:
y^=1B∑b=1Bhb(x)\hat{y}=\frac{1}{B} \sum_{b=1}^{B} h_{b}(x)y^​=B1​∑b=1B​hb​(x)

  • hb(x)h_b(x)hb​(x):第bbb棵决策树对样本xxx的预测连续值。

4. 随机森林的误差分析:为什么集成效果更好?

随机森林的总误差由偏差、方差、树之间的相关性三部分决定,核心公式为:
[总误差 = 偏差 + 方差 - 相关性]

  • 偏差:由单棵决策树的拟合能力决定,随机森林通过保持单棵树的浅深度,让偏差保持在较低水平;
  • 方差:由单棵树的稳定性决定,集成多棵树后,方差会随树的数量增加而降低;
  • 相关性:树与树之间的相似程度,双重随机性大幅降低了树的相关性,进一步减少总误差。

核心结论:当决策树的数量足够多时,随机森林的方差会趋近于0,总误差主要由偏差决定,这也是随机森林鲁棒性强的根本原因。

三、随机森林的完整算法流程

随机森林的算法流程清晰,分为模型训练(构建森林)和样本预测两大阶段,无复杂的迭代优化,实现简单,适合本科/研究生理解和代码实现。

输入参数

  1. 原始数据集D=(x1,y1),...,(xn,yn)D={(x_{1}, y_{1}), ...,(x_{n}, y_{n})}D=(x1​,y1​),...,(xn​,yn​)(xxx为特征,yyy为标签/目标值);
  2. 决策树的总数BBB(核心超参数,通常取100、200、500);
  3. 每次节点分裂时随机选择的特征数mmm(核心超参数,通常取总特征数\sqrt{总特征数}总特征数​);
  4. 单棵决策树的停止条件(如最大深度、最小节点样本数)。

阶段1:构建随机森林(训练阶段)

对b=1,2,...,Bb=1,2,...,Bb=1,2,...,B,依次训练每棵决策树,流程如下:

  1. 随机选数据:从原始数据集DDD中有放回地随机采样,生成数据子集DbD_bDb​;
  2. 初始化决策树:以DbD_bDb​为训练数据,初始化一棵空的决策树;
  3. 随机选特征+节点分裂:对决策树的每个内部节点,从总特征中随机选择mmm个特征,通过**基尼不纯度(分类)或均方误差(回归)**寻找最优分裂点,将节点分裂为左右子树;
  4. 停止分裂:重复步骤3,直到决策树满足停止条件(如达到最大深度、节点样本数不足),生成一棵完整的决策树;
  5. 保存决策树:将训练好的第bbb棵决策树加入随机森林。

阶段2:样本预测(测试阶段)

对任意新样本xxx,根据任务类型进行集成预测:

  1. 分类问题:让森林中的每棵树对xxx做出预测,对所有预测结果进行多数表决,票数最多的类别为最终预测结果;
  2. 回归问题:让森林中的每棵树对xxx做出预测,对所有预测结果取平均值,平均值为最终预测结果。

输出结果

样本xxx的最终预测类别(分类)或预测值(回归)。

四、随机森林实战:Python实现二分类任务(全流程)

本次实战基于sklearn库,实现从虚拟数据生成、数据可视化、模型训练、特征重要性分析到超参数调优、模型评估的全流程,代码注释清晰,可直接运行,适配本科/研究生上机实践,掌握随机森林的核心应用方法。

1. 实战目标

生成一个人工二分类数据集,通过随机森林实现分类,核心完成:

  • 数据探索与可视化(特征分布、类别分布、特征相关性);
  • 随机森林模型训练与特征重要性分析;
  • 网格搜索超参数调优;
  • 模型评估(分类报告、混淆矩阵、ROC曲线/AUC)。

2. 所需Python库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
# 生成虚拟数据
from sklearn.datasets import make_classification
# 数据划分、超参数调优
from sklearn.model_selection import train_test_split, GridSearchCV
# 随机森林分类器
from sklearn.ensemble import RandomForestClassifier
# 模型评估指标
from sklearn.metrics import classification_report, confusion_matrix, roc_curve, auc
# 设置绘图风格
sns.set_style("whitegrid")
# 忽略无关警告
import warnings
warnings.filterwarnings("ignore")

3. 步骤1:数据生成与探索

生成包含10个特征的二分类数据集,划分训练集(80%)和测试集(20%):

# 1. 生成虚拟二分类数据集
X, y = make_classification(
    n_samples=1000,    # 总样本数
    n_features=10,     # 总特征数
    n_informative=6,   # 有效特征数(真正影响分类的特征)
    n_redundant=2,     # 冗余特征数(由有效特征衍生,无独立信息)
    n_classes=2,       # 二分类
    random_state=42,   # 固定随机种子,结果可复现
    shuffle=True       # 打乱数据
)

# 2. 转换为Pandas DataFrame,方便数据探索
features = [f"Feature_{i}" for i in range(1, 11)]  # 特征命名
data = pd.DataFrame(X, columns=features)
data['Target'] = y  # 添加目标变量(0/1)

# 3. 数据预览(前5行)
print("数据集前5行:")
print(data.head())

# 4. 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(
    data[features], 
    data['Target'], 
    test_size=0.2,     # 测试集占比20%
    random_state=42
)
print(f"\n训练集样本数:{X_train.shape[0]},测试集样本数:{X_test.shape[0]}")

4. 步骤2:数据可视化分析

通过可视化直观了解数据特征,为模型训练和调参提供依据:

# 1. 前4个特征的分布直方图(查看特征分布是否均匀)
plt.figure(figsize=(12, 6))
for i, feature in enumerate(features[:4]):
    plt.subplot(2, 2, i + 1)
    sns.histplot(X_train[feature], kde=True, bins=20, color='#E63946')
    plt.title(f"Distribution of {feature}", fontsize=10)
plt.tight_layout()
plt.show()

# 2. 目标类别分布(检查是否类别不平衡)
plt.figure(figsize=(6, 4))
sns.countplot(x='Target', data=data, palette=['#457B9D', '#F1FAEE'])
plt.title("Target Class Distribution", fontsize=12)
plt.xlabel("Class (0/1)", fontsize=10)
plt.ylabel("Sample Count", fontsize=10)
plt.show()

# 3. 特征相关性热图(查看特征之间的线性相关性)
plt.figure(figsize=(10, 8))
corr_matrix = data[features].corr()
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm', fmt='.2f', linewidths=0.5)
plt.title("Feature Correlation Matrix", fontsize=12)
plt.show()

5. 步骤3:初始随机森林建模与特征重要性分析

使用默认参数训练随机森林,评估基线性能,并分析特征重要性(随机森林的核心优势之一):

# 1. 初始化并训练随机森林模型
rf_model = RandomForestClassifier(random_state=42)
rf_model.fit(X_train, y_train)

# 2. 测试集预测,输出分类报告
y_pred = rf_model.predict(X_test)
print("初始模型分类报告:")
print(classification_report(y_test, y_pred))

# 3. 特征重要性分析与可视化
importances = rf_model.feature_importances_  # 特征重要性评分(0~1,和为1)
sorted_idx = np.argsort(importances)        # 特征重要性升序排序

# 绘制特征重要性折线图
plt.figure(figsize=(10, 6))
plt.plot(
    np.arange(len(features)), 
    importances[sorted_idx], 
    marker='o', linestyle='-', color='#2A9D8F', linewidth=2, markersize=6
)
# 设置坐标轴
plt.xticks(ticks=np.arange(len(features)), labels=np.array(features)[sorted_idx], rotation=45)
plt.title("Feature Importance of Random Forest", fontsize=12)
plt.xlabel("Features", fontsize=10)
plt.ylabel("Importance Score", fontsize=10)
plt.grid(alpha=0.3)
plt.show()

特征重要性解读:评分越高,表示该特征对分类结果的影响越大,可基于此进行特征选择(剔除低重要性特征),简化模型。

6. 步骤4:超参数调优(网格搜索GridSearchCV)

随机森林的核心超参数较少,通过网格搜索遍历超参数组合,选择最优参数,提升模型性能:

# 1. 定义超参数网格(核心调优参数)
param_grid = {
    'n_estimators': [50, 100, 200],  # 决策树的数量
    'max_depth': [None, 10, 20],     # 单棵树的最大深度(防止过拟合)
    'min_samples_split': [2, 5, 10], # 节点分裂所需的最小样本数
    'min_samples_leaf': [1, 2, 4]    # 叶子节点的最小样本数
}

# 2. 网格搜索:5折交叉验证,以准确率为评分标准
grid_search = GridSearchCV(
    estimator=RandomForestClassifier(random_state=42),
    param_grid=param_grid,
    cv=5,                # 5折交叉验证
    scoring='accuracy',  # 评分标准
    n_jobs=-1,           # 利用所有CPU核心,加速训练
    verbose=1            # 输出训练过程
)
grid_search.fit(X_train, y_train)

# 3. 输出最佳超参数
print(f"随机森林最佳超参数:{grid_search.best_params_}")

# 4. 使用最佳参数训练优化后的模型
best_rf_model = grid_search.best_estimator_
y_pred_optimized = best_rf_model.predict(X_test)  # 预测类别
y_pred_proba = best_rf_model.predict_proba(X_test)[:, 1]  # 预测正类概率

7. 步骤5:优化后模型的性能评估

从混淆矩阵、分类报告、ROC曲线/AUC三个维度评估模型,这是分类任务的标准评估方法:

# 1. 混淆矩阵可视化(直观看出分类正确/错误的样本数)
plt.figure(figsize=(6, 4))
cm = confusion_matrix(y_test, y_pred_optimized)
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues', linewidths=0.5)
plt.title("Confusion Matrix (Optimized Model)", fontsize=12)
plt.xlabel("Predicted Class", fontsize=10)
plt.ylabel("Actual Class", fontsize=10)
plt.show()

# 2. 输出优化后模型的分类报告
print("优化后模型分类报告:")
print(classification_report(y_test, y_pred_optimized))

# 3. ROC曲线与AUC值(评估模型的分类区分能力,AUC越接近1越好)
fpr, tpr, _ = roc_curve(y_test, y_pred_proba)
roc_auc = auc(fpr, tpr)

# 绘制ROC曲线
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, label=f'ROC Curve (AUC = {roc_auc:.2f})', color='#E76F51', linewidth=2)
plt.plot([0, 1], [0, 1], linestyle='--', color='gray', alpha=0.5)  # 随机猜测参考线
plt.title("Receiver Operating Characteristic (ROC) Curve", fontsize=12)
plt.xlabel("False Positive Rate (FPR)", fontsize=10)
plt.ylabel("True Positive Rate (TPR)", fontsize=10)
plt.legend(loc="lower right")
plt.grid(alpha=0.3)
plt.show()
print(f"优化后模型AUC值:{roc_auc:.4f}")

实战结果解读:默认参数的随机森林已能取得较高的准确率(通常90%以上),超参数调优后,AUC值会进一步提升(通常0.9以上),模型的分类区分能力更强,鲁棒性更好。

五、随机森林的优缺点分析

随机森林是机器学习中“性价比最高”的算法之一,优点突出,缺点相对温和,且可通过一定方法弥补,了解其优缺点是本科/研究生考试和科研选模型的关键。

核心优点(工业界首选的核心原因)

  1. 鲁棒性极强:双重随机性+集成思想,完美解决了单棵决策树易过拟合、稳定性差的问题,对噪音、数据缺失、数据微小变化不敏感;
  2. 分类/回归通吃:无需修改核心结构,即可处理二分类、多分类、回归任务,适配绝大多数机器学习场景;
  3. 无需复杂的特征预处理:对特征的量纲、分布无要求,无需归一化、标准化,可直接处理混合类型特征(数值型+类别型);
  4. 自带特征重要性分析:能直接输出特征对预测结果的重要性评分,是特征工程、模型解释的重要工具,无需额外引入其他方法;
  5. 调参简单,基线性能高:默认参数即可取得较好的效果,核心调优参数仅4-5个,入门者易上手,是各类任务的首选基线模型;
  6. 处理高维数据能力强:即使数据包含大量冗余特征,也能通过随机选特征筛选出有效特征,保持较好的预测性能;
  7. 支持袋外评估:无需划分验证集,可通过袋外样本(未被采样的样本)评估模型性能,充分利用所有数据。

核心缺点(需针对性弥补)

  1. 模型可解释性差:单棵决策树的可解释性极强,但随机森林由多棵树组成,是“黑盒模型”,无法像逻辑回归、单棵决策树那样清晰解释决策过程;
  2. 计算成本较高:需要训练和存储多棵决策树,训练时间和内存占用远高于单棵决策树、逻辑回归等简单模型,在超大规模数据集上效率偏低;
  3. 对高维稀疏数据表现一般:对于文本、图像等高维稀疏数据(如词袋模型、像素特征),随机森林的表现不如逻辑回归、SVM、朴素贝叶斯;
  4. 对类别不平衡数据敏感:倾向于预测多数类,对少数类的识别率较低,需通过过采样(SMOTE)、欠采样、类别权重等方法处理;
  5. 决策边界相对僵硬:基于决策树的集成,决策边界由多个矩形组成,不如SVM、神经网络的决策边界灵活,对复杂非线性边界的拟合能力稍弱。

六、随机森林与其他经典算法的对比

为了方便本科/研究生在学习、作业和科研中正确选择模型,将随机森林与决策树、梯度提升树(XGBoost/LightGBM)、SVM从核心特点、训练方式、性能、适用场景等维度做详细对比,清晰明了:

对比项随机森林决策树梯度提升树(XGBoost/LightGBM)支持向量机(SVM)
模型类型Bagging集成学习单棵树模型Boosting集成学习核方法模型
训练方式多棵树并行训练单棵树独立训练多棵树串行训练(逐步优化)超平面分割训练
核心优点鲁棒性强、调参简单、特征重要性易解释、训练快、无需预处理精度极高、拟合能力强、处理高维数据好高维友好、非线性拟合能力强
核心缺点可解释性差、计算成本高易过拟合、稳定性差调参复杂、对噪音敏感、训练慢计算慢、难解释、对核函数敏感
泛化能力极强弱极强强
可解释性低(黑盒模型)极高(白盒模型)低(黑盒模型)低(黑盒模型)
训练速度中等(并行加速)极快慢慢
适合数据类型结构化数据(数值+类别)、中小规模高维数据结构化数据、小规模数据结构化数据、高维数据、大规模数据高维稀疏数据(文本/图像)、中小规模数据
核心适用场景各类任务基线模型、特征重要性分析、分类/回归通用简单分类/回归、模型解释、快速建模高精度要求的分类/回归、工业界落地首选文本分类、图像识别、非线性小样本分类

核心选择原则

  1. 快速建模/基线模型:优先选随机森林(默认参数性能高,调参简单);
  2. 模型解释性要求高:优先选单棵决策树(清晰的决策规则,非技术人员也能理解);
  3. 高精度要求/工业界落地:优先选梯度提升树(XGBoost/LightGBM)(精度最高,适配绝大多数结构化数据场景);
  4. 高维稀疏数据(文本/图像):优先选SVM/朴素贝叶斯/逻辑回归;
  5. 小数据集/快速验证:优先选决策树/逻辑回归。

七、随机森林的经典应用场景

随机森林凭借鲁棒性强、适配性广、调参简单的特点,在工业界和科研中应用极其广泛,是**“万能模型”**,核心应用场景如下:

1. 分类任务(主流场景)

  • 金融风控:预测用户是否违约、交易是否为欺诈(信用卡欺诈、电商交易欺诈);
  • 医疗诊断:根据患者的临床特征,预测是否患有某种疾病(癌症、糖尿病);
  • 物体识别:简单的图像分类(如水果、动物、交通标志);
  • 客户分层:根据用户的行为特征,将用户分为高价值、中价值、低价值客户。

2. 回归任务

  • 房价预测:根据房屋的面积、地段、户型等特征,预测房屋价格;
  • 销量预测:根据产品的特征、市场环境、促销活动,预测产品的销量;
  • 股价预测:根据股票的历史数据、市场指标,预测股票的涨跌幅度(辅助决策)。

3. 特征工程与数据挖掘

  • 特征重要性分析:筛选出对预测结果影响最大的特征,简化模型,提升训练效率;
  • 缺失值填充:利用随机森林的特征相关性,对数据中的缺失值进行精准填充;
  • 异常值检测:通过模型的预测偏差,识别数据中的异常样本(如欺诈交易、异常用户行为)。

4. 其他场景

  • 推荐系统:结合用户和物品的特征,预测用户对物品的偏好程度,实现个性化推荐;
  • 自然语言处理:简单的文本分类、情感分析(如新闻分类、评论情感判断);
  • 工业检测:根据工业设备的传感器数据,预测设备是否会发生故障(故障预警)。

八、总结

随机森林是机器学习中集大成的经典算法,以决策树为基模型,以Bagging为集成思想,以双重随机性为核心创新,完美解决了单棵决策树的缺陷,兼具高准确率、强鲁棒性、易用性三大优点,是本科/研究生机器学习入门的必学算法,也是工业界各类任务的首选基线模型。

本文核心知识点总结,方便大家梳理学习和复习:

  1. 核心本质:多棵独立决策树的Bagging集成,核心思想是集思广益,多数表决/取平均;
  2. 两大随机:随机选数据(Bootstrap自助采样)、随机选特征,通过多样性提升模型鲁棒性;
  3. 核心公式:分类为多数表决,回归为取平均值,误差由偏差、方差、树的相关性决定;
  4. 核心优势:鲁棒性强、分类/回归通吃、无需复杂预处理、自带特征重要性分析、调参简单;
  5. 核心缺点:可解释性差、计算成本高、对高维稀疏数据表现一般;
  6. 工业定位:所有机器学习任务的基线模型,快速验证想法,为后续模型优化提供参考;
  7. 选模型原则:结构化数据优先选随机森林/梯度提升树,高维稀疏数据优先选SVM/朴素贝叶斯,解释性要求高优先选决策树/逻辑回归。

掌握随机森林的原理和实现,不仅能应对本科/研究生的课程作业、考试和科研入门,还能直接落地到工业界的各类分类、回归和特征工程场景。建议结合本文的实战代码反复练习,尝试将其应用到房价预测、欺诈检测等实际任务中,加深对算法的理解,为后续学习梯度提升树等进阶集成算法打下坚实的基础。

【机器学习】十大算法之一 “随机森林” 随机森林算法(Random Forest, RF)是由Leo Breiman和Adele Cutler于2001年提出的一种集成学习(Ensemble Learning)算法。它是由多个决策树构成的分类器,通过对每个决策树的投票结果来确定最终的预测结果。随机森林算法可以用于分类和回归分析。在分类问题中,每个决策树的输出结果为一个类别标签,通过投票来确定样本所属的类别。在回归问题中,每个决策树的输出结果为一个连续值,取所有决策树输出结果的平均值作为最终结果。可以处理高维度数据;可以处理不平衡的数据集。 阅读详情

相关推荐

机器学习之随机森林

随机森林(Random Forest,简称RF)是一种集成学习方法,由Leo Breiman于2001年提出。它通过构建多个决策树来进行分类或回归预测,每棵树的构建过程中引入随机性,以提高模型的泛化能力。随机森林的基本原理是“集思广益”,即通过集成多个弱学习器(在这种情况下是决策树)来形成一个强学习器。每棵树在训练时使用不同的数据子集,并且在选择分裂节点时只考虑一部分特征,这种随机性使得每棵树都具有一定独立性,从而减少了模型的过拟合风险。

零度°C的博客 8913

[Machine Learning & Algorithm] 随机森林(Random Forest)

1 什么是随机森林?   作为新兴起的、高度灵活的一种机器学习算法,随机森林(Random Forest,简称RF)拥有广泛的应用前景,从市场营销到医疗保健保险,既可以用来做市场营销模拟的建模,统计客户来源,保留和流失,也可用来预测疾病的风险和病患者的易感性。最初,我是在参加校外竞赛时接触到随机森林算法的。最近几年的国内外大赛,包括2013年百度校园电影推荐系统大赛、2014年阿里巴巴天池大数据...

weixin_34279246的博客 1万+

Scikit-Learn随机森林分类

在随机森林中,集成模型中的每棵树构建时的样本都是由训练集经过随机有放回抽样自助式采样法(Bootstrap Sampling)得来的另外,在构建树的过程中进行节点划分时,选择的划分点是基于所有特征中的随机子集的最佳划分点随机森林的随机性主要体现在两个方面:一是决策树训练样本的随机选取,二是决策树节点划分属性特征的随机选取这两个随机性的目的是降低森林估计器的方差。事实上,单个决策树通常表现出很高的方差,并且往往会过拟合。

Java/Python大数据随笔 1892

机器学习之随机森林(Random forest)

随机森林是一种监督式算法,使用由众多决策树组成的一种集成学习方法,输出是对问题最佳答案的共识。随机森林可用于分类或回归,是一种主流的集成学习算法。

十年以上架构设计经验,专注于软件架构和人工智能领域,对机器视觉、NLP、音视频等领域都有涉猎 3万+

随机森林RF葡萄酒分类,随机森林二分类

随机森林原理,葡萄酒二分类

abc991835105的博客 933

Spark随机森林之多分类模型

Spark随机森林之多分类模型关于随机森林随机森林算法是机器学习、计算机视觉等领域内应用极为广泛的一个算法,它不仅可以用来做分类,也可用来做回归即预测,随机森林机由多个决策树构成,相比于单个决策树算法,它分类、预测效果更好,不容易出现过度拟合的情况。

Ntozot的博客 9807

随机森林分类算法_分类算法-随机森林

分类算法-随机森林 (Classification Algorithms - Random Forest) Advertisements 广告 Previous Page 上一页 Next Page 下一页 介绍 (Introduction) Random forest is a supervised learning algorithm which is ...

cunzai1985的博客 1万+

分类算法:随机森林算法原理与应用

随机森林通过集成多个决策树,利用自助抽样和随机特征选择来增加模型的多样性,从而提高预测的准确性和稳定性。在预测时,随机森林采用多数投票的方式,确保了模型的决策是基于整个森林的共识,而不是单个树的偏见。此外,随机森林还提供了特征重要性的评估,帮助我们理解数据中的关键特征。通过以上步骤,随机森林成为了一种强大且灵活的机器学习算法,适用于各种分类和回归任务。

kkchenjj的博客 2130

基于随机森林的分类算法的matlab简单实现

基于随机森林的分类算法的matlab的简单实现

weixin_52519143的博客 1万+

Keil5实战:如何高效导出变量数据并实现可视化分析

本文详细介绍了在Keil5开发环境中,如何利用调试脚本高效导出程序运行时变量数据的方法。通过编写脚本自动捕获数据并保存为文件,再结合Excel或Python进行可视化分析,为嵌入式调试与算法优化提供了数据支撑,显著提升开发效率。

silver的专栏 1106

【XR技术介绍】深度解析|AI眼镜核心技术架构:从硬件层到端云AI全链路拆解

本文将逐层拆解AI眼镜完整技术架构,梳理硬件、感知、光学、端侧AI、软件云端五大核心层级,剖析核心数据流与行业技术瓶颈,同时附上标准化技术架构图,适合技术学习、方案汇报、行业科普使用。

houdou112358的博客 444

分类算法系列⑥:随机森林

本文介绍机器学习当中一个非常重要的内容:随机森林。

逐梦苍穹的博客 1万+

UE5 AI寻路全攻略:从Nav Mesh基础到动态障碍与多模式导航

在游戏开发中,AI寻路是赋予非玩家角色自主移动能力的关键技术。其核心原理是通过预计算或实时生成一个表示可行走区域的导航网格,AI路径查找算法(如A*)在此网格上规划最优路径。这项技术的价值在于,它能极大提升游戏世界的真实感和交互性,使NPC能够智能地绕开障碍、穿越复杂地形,广泛应用于开放世界、RPG、策略游戏等多种场景。本文聚焦于虚幻引擎5的寻路系统,深入探讨其寻路网格体配置。针对动态环境挑战,文章详细介绍了如何利用寻路修饰体积和动态障碍物组件实现导航网格的实时更新;同时,针对游泳、飞行等特殊移动需求,解析

weixin_33226816的博客 363

随机森林算法详解

<div id="post_detail"> [Machine Learning & Algorithm] 随机森林(Random Forest) 阅读目录1 什么是随机森林?2 随机森林的特点3 随机森林的相关基础知识4 随机森林的生成5 袋外错误率(oob error)6 随机森林工作原理解释的一个简单例子7 随机森林...

阿斯达克 3万+

jetson nano网络配置(有线、无线、USB)

注意:本节内容使用Jetson nano B01 版本或Jetson nano ALT 版本安装方式相同,在安装无线网卡等设备时,由于线材和设备比较脆弱,需要轻拿轻放,接口连接不上时,需要重新对准接口在进行连接,不要强行连接。Jetson nano 需要连接网络来进行更多的操作,本节就来讲解Jetson nano 的三种网络连接方法。有线:我们可以使用网线连接Jetson nano 的RJ45 接口,实现联网。

m0_73841621的博客 1万+

微信H5网页授权通用方案:中转页破解域名限制,适配Hash/History路由

在Web开发中,OAuth 2.0授权码模式是实现第三方登录的通用标准,其核心原理是通过授权服务器颁发临时代码,再由客户端交换访问令牌。这一机制在微信公众号H5开发中尤为重要,用于安全获取用户身份。然而,微信平台对网页授权回调域名有严格的数量限制,这成为多子域名、多环境及微前端架构下业务扩展的主要瓶颈。其技术价值在于通过设计一个统一的中转授权页,将授权逻辑与业务逻辑解耦,让所有业务页面共享一个已配置的授权入口,从而突破域名配额限制。该方案的关键在于适配不同的前端路由模式,需精准处理Hash模式与Histor

weixin_42533120的博客 324

【基于随机森林算法的数据分类预测】附matlab代码和结果

随机森林是一种集成学习方法,它通过构建多个决策树并结合它们的预测结果来提高整体的预测性能。在分类问题中,随机森林通过投票机制来决定最终的分类结果,即多数决策树的分类结果将被采纳。随机森林分类模型是一种强大的预测工具,它通过集成多个决策树来提高预测的准确性和稳定性。通过适当的数据准备、模型训练、评估和参数调优,我们可以构建一个高效的随机森林分类模型。通过本文的介绍,希望读者能够理解并掌握随机森林分类模型的基本原理和应用方法,从而在实际问题中有效地应用这一强大的工具。训练完成后,我们可以使用模型进行预测。

weixin_51352614的博客 5476

实战指南:如何优雅解决SpringBoot3与Mybatis-Plus的版本兼容性问题

本文深入解析SpringBoot3与Mybatis-Plus的版本兼容性问题,提供实战解决方案。通过Maven依赖排除策略、Gradle配置方案及自动配置覆盖策略,有效解决包冲突和初始化顺序问题,确保项目平稳升级。适用于开发者快速解决SpringBoot3与Mybatis-Plus的集成难题。

weixin_28432777的博客 601

Python算法:随机森林分类

随机森林就是通过集成学习的思想将多棵树集成的一种算法,它的基本单元是决策树,而它的本质属于机器学习的一大分支——集成学习。

北天的博客 6513

从入门到精通:HyperMesh实体选择全攻略(含2025新界面操作)

本文系统解析了HyperMesh从基础到高级的实体选择技巧,重点介绍了2025新界面的交互逻辑与效率提升。内容涵盖选择模式、框选方法、右键菜单高级选择、图形窗口选择器与命令面板的智能联动,以及利用浏览器和过滤器进行精准定位的实战指南,帮助用户显著提升前处理建模效率。

open4的博客 1088

星敏感器:卫星姿态测量的“星空导航仪”

在卫星、航天器和深空探测器的姿态控制系统中,星敏感器(Star Tracker) 是最精确的姿态测量设备之一。它通过识别恒星的位置,计算出航天器在惯性空间中的三轴姿态,精度可达 角秒级(arcsecond),是许多高精度任务(如遥感、天文观测、深空探测)的核心传感器。

ScilogyHunter的博客 3709

分类算法之随机森林

随机森林也是非线性有监督的分类模型 随机森林是由多个决策树组成。是用随机的方式建立一个森林,里面由很多决策树组成。随机森林中每一棵决策树之间都是没有关联的。得到随机森林之后,对于一个样本输入时,森林中的每一棵决策树都进行判断,看看这个样本属于哪一类,最终哪一类得到的结果最多,该输入的预测值就是哪一类。 随机森林中的决策树生成过程是对样本数据进行行采样和列采样,可以指定随机森林中的树的个数和属性个...

孙大迪迪的博客 4658

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

# 【基于随机森林算法的分类预测】附详细Matlab代码

随机森林是一种集成学习方法,它通过构建多个决策树并结合它们的预测结果来提高整体的预测性能。在分类问题中,随机森林通过投票机制来决定最终的分类结果,即多数决策树的分类结果将被采纳。随机森林分类模型是一种强大的预测工具,它通过集成多个决策树来提高预测的准确性和稳定性。通过适当的数据准备、模型训练、评估和参数调优,我们可以构建一个高效的随机森林分类模型。通过本文的介绍,希望读者能够理解并掌握随机森林分类模型的基本原理和应用方法,从而在实际问题中有效地应用这一强大的工具。训练完成后,我们可以使用模型进行预测。

weixin_51352614的博客 2510

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

【机器学习算法】分类算法之随机森林(Random Forest)

前言随机森林(Random Forest) 是Bagging(一种并行式的集成学习方法)的一个拓展体,它的基学习器固定为决策树,多棵树也就组成了森林,而“随机”则在于选择划分属性的随机,随机森林在训练基学习器时,也采用有放回采样的方式添加样本扰动,同时它还引入了一种属性扰动,即在基决策树的训练过程中,在选择划分属性时,Random Forest先从候选属性集中随机挑选出一个包含K个属性的子集,再从这个子集中选择最优划分属性,一般推荐K=log2(d)。

DJJ5210的博客 8157

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

使用决策树和随机森林对数据分类

文章目录前言一、使用决策树和随机森林对数据分类二、代码拆分成训练数据和测试数据CART决策树分类检查准确率检查准确率三、总结 前言 在研究机器学习,发现了一些宝藏算法,写下来让自己记住,超有用!同时也想要分享给大家,如果喜欢可以支持一下,谢谢。 一、使用决策树和随机森林对数据分类 使用决策树算法和随机森林算法对income_classification.csv的收入水平进行分类。训练集和测试集的比例是7:3,选取适当的特征列,使得针对测试样本的分类准确率在80%以上,比较2种分类方法的准确率。 数.

monster_typing的博客 5625

随机森林分类

转载自:https://www.cnblogs.com/liuyihai/p/8309019.html <div id="post_detail"> 随机森林分类器(Random Forest) 阅读目录 1 什么是随机森林? 2 随机森林的特点 3 随机森林的相关基础知识 4 随机森林的生成 5 袋外错误率(oob err...

baidu_38634017的博客 2999
上一篇: 【分类算法】朴素贝叶斯超详细解析
下一篇: 【集成算法】AdaBoost超详细解析
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值