【集成算法】极端随机森林详解

Opencv2.4.9源码分析——Extremely randomized trees 一、原理   ET或Extra-Trees(Extremely randomized trees,极端随机树)是由PierreGeurts等人于2006年提出。该算法与随机森林算法十分相似,都是由许多决策树构成。但该算法与随机森林有两点主要的区别: 1、随机森林应用的是Bagging模型,而ET是使用所有的训练样本得到每棵决策树,也就是每棵决策树应用的是相同的全部训练样本; 2、随机森林是 阅读详情

集成算法之极端随机森林详解(原理+实战+对比)

本文面向本科、研究生阶段学习者,用通俗易懂的语言讲解极端随机森林(Extra Trees/Extremely Randomized Trees)的核心概念、原理推导、完整算法流程,结合乳腺癌分类任务实现全流程实战,并对比其与随机森林、XGBoost等同类集成算法的差异,明确各类场景的选型思路,内容从入门到进阶,可直接用于课程设计、竞赛和项目开发。

一、极端随机森林:通俗理解核心概念

极端随机森林是集成学习中Bagging家族的经典算法,主打高随机性、高速度、强泛化能力,核心用于分类(如垃圾邮件识别)和回归(如房价预测)任务。它和我们熟知的随机森林高度相似,本质都是由多棵决策树组成“森林”,通过投票(分类)/平均(回归)得到最终结果,核心区别是:极端随机森林比随机森林更“随机”,决策更“极端”。

用生活场景类比:
当你要选一部电影看,不会只听一个人的意见,而是问多个朋友、看评分、结合自己喜好,综合判断后做决定——这就是集成算法的核心思路:多个模型共同决策,结果比单个模型更靠谱。
极端随机森林的“极端”体现在:每棵决策树做判断时,不会刻意找“最优依据”,而是随机选参考维度、随机做决策,虽然单棵树的判断不够精准,但多棵树综合投票后,最终结果会非常稳定。

极端随机森林与随机森林的核心区别

用一句话概括:随机森林是“随机选特征,找最优切分”;极端随机森林是“随机选特征+随机切分”,具体差异看这张表,秒懂核心不同:

对比项随机森林极端随机森林
切分方式随机选特征,找该特征的最优切分点随机选特征,在该特征上随机选切分点
偏差稍低(单棵树拟合性更好)稍高(单棵树拟合性稍弱)
方差稍高(易过拟合,稳定性一般)更低(不易过拟合,稳定性更好)
训练速度较慢(需要计算最优切分点)更快(无需计算,直接随机切分)

一句话总结极端随机森林:一群“随机切菜”的决策树,单棵树不聪明,但靠数量多、随机性强,集体投票的结果既快又靠谱。

二、极端随机森林核心原理详解

2.1 整体思想

极端随机森林属于并行集成算法(所有决策树独立训练,无先后依赖),核心是通过双重随机化(随机选特征、随机切分点)构建大量决策树,利用“集体智慧”抵消单棵树的随机性误差,最终实现:降低模型方差、减少过拟合、提升泛化能力,同时因无需计算最优切分点,大幅提升训练速度。

2.2 基础问题设定

给定一个监督学习数据集,定义核心参数:

  • 输入特征:X=x1,x2,...,xnX={x_{1}, x_{2}, ..., x_{n}}X=x1​,x2​,...,xn​,每个样本特征维度为ddd,即xi∈Rdx_{i} \in \mathbb{R}^{d}xi​∈Rd
  • 样本标签:Y=y1,y2,...,ynY={y_{1}, y_{2}, ..., y_{n}}Y=y1​,y2​,...,yn​(分类为离散值,回归为连续值)
  • 样本总数:nnn
  • 特征维度:ddd
  • 学习目标:构建模型f^(x)\hat{f}(x)f^​(x),逼近数据的真实映射关系f(x)f(x)f(x),让模型在新样本上的预测误差最小。

2.3 数学建模:集成预测规则

极端随机森林训练MMM棵独立的决策树,每棵树的预测结果为f^m(x)\hat{f}_{m}(x)f^​m​(x),最终模型的预测规则分分类和回归两种,简单易懂:

回归任务:多树预测值取平均

f^(x)=1M∑m=1Mf^m(x)\hat{f}(x)=\frac{1}{M} \sum_{m=1}^{M} \hat{f}_{m}(x)f^​(x)=M1​m=1∑M​f^​m​(x)

分类任务:多树预测值多数投票

f^(x)=argmaxy∈Y∑m=1MI[f^m(x)=y]\hat{f}(x)=arg max _{y \in \mathcal{Y}} \sum_{m=1}^{M} \mathbb{I}\left[\hat{f}_{m}(x)=y\right]f^​(x)=argmaxy∈Y​m=1∑M​I[f^​m​(x)=y]
其中I[⋅]\mathbb{I}[\cdot]I[⋅]是指示函数:如果括号内条件成立(某棵树预测为类别yyy),则值为1,否则为0;最终选得票最多的类别作为结果。

2.4 单棵决策树的“双重随机化”构建

极端随机森林的核心创新点,就是抛弃传统决策树的“最优切分”思路,用双重随机化构建单棵树,也是其与随机森林、传统CART树的本质区别。具体包含两个核心策略:

策略一:随机选择特征子集

对决策树的每个内部节点,不使用所有特征,而是随机选取k≤dk ≤dk≤d个特征作为该节点的切分候选特征;

  • 分类任务:通常取k=dk=\sqrt{d}k=d​(如30个特征选5-6个)
  • 回归任务:通常取k=d/3k=d/3k=d/3(如30个特征选10个)
  • 目的:减少特征之间的相关性,避免多棵树做出相同的错误判断,提升集成结果的稳定性。
策略二:随机选取特征切分点

对策略一中选出的每个候选特征jjj,不计算最优切分点(如基尼指数最小、信息增益最大),而是直接从该特征在当前节点的取值范围[aj,bj][a_{j}, b_{j}][aj​,bj​]上均匀随机采样一个值作为切分点θj∼U(aj,bj)\theta_{j} \sim U(a_{j}, b_{j})θj​∼U(aj​,bj​);

  • 目的:彻底省去“计算最优切分点”的时间,大幅提升训练速度,同时进一步增加随机性,降低模型过拟合风险。

2.5 划分质量评估:从随机切分中选“相对最优”

虽然切分点是随机生成的,但极端随机森林会从所有随机切分组合中,选出划分效果最好的一个(即让节点“纯度提升最多”),并非完全无规则的随机划分。
划分质量的评估标准分分类和回归,均采用经典指标,本科阶段即可理解:

分类任务:基尼指数(Gini Index)

基尼指数衡量节点的“不纯度”,值越小,节点内样本的类别越单一,划分效果越好。

  1. 单个节点的基尼指数:
    G(t)=1−∑c∈Cpc2G(t)=1-\sum_{c \in \mathcal{C}} p_{c}^{2}G(t)=1−c∈C∑​pc2​
    其中pcp_{c}pc​是当前节点中类别ccc的样本占比,C\mathcal{C}C是所有类别集合。
  2. 划分后的纯度增益(基尼增益):
    ΔG=G(t)−(NLNG(tL)+NRNG(tR))\Delta G=G(t)-\left(\frac{N_{L}}{N} G\left(t_{L}\right)+\frac{N_{R}}{N} G\left(t_{R}\right)\right)ΔG=G(t)−(NNL​​G(tL​)+NNR​​G(tR​))
    其中NNN是当前节点总样本数,NL/NRN_{L}/N_{R}NL​/NR​是左/右子节点的样本数,G(tL)/G(tR)G(t_{L})/G(t_{R})G(tL​)/G(tR​)是左/右子节点的基尼指数;ΔG\Delta GΔG越大,说明划分后节点的纯度提升越多,划分效果越好。
回归任务:均方误差(MSE)

均方误差衡量节点内样本标签的离散程度,值越小,节点内样本的标签越集中,划分效果越好。

  1. 单个节点的均方误差:
    MSE(t)=1N∑i=1N(yi−y‾)2MSE(t)=\frac{1}{N} \sum_{i=1}^{N}\left(y_{i}-\overline{y}\right)^{2}MSE(t)=N1​i=1∑N​(yi​−y​)2
    其中y‾\overline{y}y​是当前节点内样本标签的平均值。
  2. 划分后的误差下降量:
    ΔMSE=MSE(t)−(NLNMSE(tL)+NRNMSE(tR))\Delta M S E=M S E(t)-\left(\frac{N_{L}}{N} M S E\left(t_{L}\right)+\frac{N_{R}}{N} M S E\left(t_{R}\right)\right)ΔMSE=MSE(t)−(NNL​​MSE(tL​)+NNR​​MSE(tR​))
    ΔMSE\Delta MSEΔMSE越大,说明划分后节点的误差下降越多,划分效果越好。

核心规则:从所有“随机特征+随机切分点”的组合中,选择**基尼增益最大(分类)或均方误差下降量最大(回归)**的组合作为当前节点的切分方式。

2.6 极端随机森林完整算法流程

整合上述原理,给出标准化的输入、训练、预测步骤,逻辑清晰,可直接对应代码实现,本科生也能轻松理解:

输入
  • 训练集:(X,Y)(X, Y)(X,Y)
  • 超参数:树的总数MMM、每个节点随机选特征数kkk、决策树最小样本数(节点不切分的阈值)、决策树最大深度等。
训练阶段(构建MMM棵决策树)
  1. 对于每棵树m=1,2,...,Mm=1,2, ..., Mm=1,2,...,M,不进行Bootstrap采样(直接使用整个训练集,区别于随机森林);
  2. 从根节点开始,递归构建决策树:
    a. 若当前节点的样本数 < 最小阈值,或节点不纯度(基尼指数/MSE)很小,停止切分,设为叶子节点;
    b. 随机选取kkk个特征作为候选切分特征;
    c. 对每个候选特征,从其取值范围中随机采样一个切分点;
    d. 计算所有候选切分组合的划分质量(基尼增益/ΔMSE\Delta MSEΔMSE),选出最优组合;
    e. 用最优切分组合将当前节点划分为左、右子节点;
    f. 对左、右子节点重复步骤a-e,直到满足停止条件。
  3. MMM棵树全部构建完成,组成极端随机森林模型。
预测阶段
  1. 给定新样本xxx,将其输入森林中的每一棵决策树,得到每棵树的预测结果f^m(x)\hat{f}_{m}(x)f^​m​(x);
  2. 分类任务:对所有预测结果多数投票,得票最多的类别为最终结果;
  3. 回归任务:对所有预测结果取平均值,平均值为最终结果。

2.7 偏差-方差分析:为什么极端随机森林更稳定?

机器学习模型的泛化误差由偏差和方差组成:

  • 偏差:模型的拟合能力,偏差越低,模型对训练集的拟合效果越好;
  • 方差:模型的稳定性,方差越低,模型在不同数据集上的预测结果越稳定,不易过拟合。

极端随机森林通过双重随机化和不做Bootstrap采样,实现了以轻微增加偏差为代价,大幅降低方差,最终整体泛化能力更优,对比随机森林的核心差异:

模型偏差方差核心特点
极端随机森林稍高更低稳定性强,不易过拟合,训练快
随机森林稍低稍高拟合性稍好,易过拟合,训练慢

关键原因:

  1. 随机切分点省去了“最优拟合”的计算,单棵树的拟合能力略有下降(偏差稍高);
  2. 双重随机化让多棵树的决策高度独立,避免了“集体犯错”,模型在新样本上的表现更稳定(方差更低);
  3. 不做Bootstrap采样,直接使用全量训练集构建每棵树,减少了样本随机性带来的误差,进一步提升稳定性。

三、极端随机森林实战:乳腺癌数据集分类(Python代码可直接运行)

以sklearn内置的乳腺癌数据集为例,实现从数据探索→预处理→模型训练→模型评估→特征重要性分析→超参数调优的全流程,代码注释详细,无复杂操作,本科/研究生可直接复现,掌握极端随机森林的实际应用。

3.1 环境准备

需要的Python库均为机器学习常用库,提前安装即可:

pip install numpy pandas matplotlib seaborn scikit-learn

3.2 完整实战代码

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
# 数据集加载
from sklearn.datasets import load_breast_cancer
# 数据划分与调参
from sklearn.model_selection import train_test_split, GridSearchCV, learning_curve
# 极端随机森林模型
from sklearn.ensemble import ExtraTreesClassifier
# 模型评估指标
from sklearn.metrics import confusion_matrix, classification_report, roc_curve, auc, accuracy_score
# 忽略警告,让输出更整洁
import warnings
warnings.filterwarnings("ignore")

# ---------------------- 1. 数据加载与基础探索 ----------------------
# 加载乳腺癌数据集
data = load_breast_cancer()
X = pd.DataFrame(data.data, columns=data.feature_names)  # 特征数据
y = pd.Series(data.target, name='target')  # 标签:0=恶性,1=良性

# 输出数据集基本信息
print("="*50)
print("数据集基本信息")
print("="*50)
print(f"样本总数:{X.shape[0]}")
print(f"特征维度:{X.shape[1]}")
print(f"目标类别:{np.unique(y)}(0=恶性,1=良性)")
print(f"\n特征描述性统计:\n{X.describe().round(2)}")

# ---------------------- 2. 探索性数据分析(EDA) ----------------------
# 2.1 绘制核心特征的概率密度分布
plt.figure(figsize=(12, 8))
core_features = ['mean radius', 'mean texture', 'mean perimeter', 'mean area']
for feat in core_features:
    sns.kdeplot(X[feat], shade=True, label=feat)
plt.title("Distribution of Core Features", fontsize=16)
plt.xlabel("Feature Values", fontsize=14)
plt.ylabel("Density", fontsize=14)
plt.legend()
plt.show()

# 2.2 绘制特征相关性热力图
plt.figure(figsize=(14, 10))
corr_matrix = X.corr()
sns.heatmap(corr_matrix, annot=False, cmap='coolwarm', linewidths=0.5)
plt.title("Feature Correlation Heatmap", fontsize=18)
plt.show()

# ---------------------- 3. 数据预处理与划分 ----------------------
# 分层抽样划分训练集(70%)和测试集(30%),保证类别分布一致
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42, stratify=y
)
print("\n="*50)
print("数据划分结果")
print("="*50)
print(f"训练集样本数:{X_train.shape[0]},测试集样本数:{X_test.shape[0]}")

# 树模型无需归一化/标准化,直接使用原始数据训练

# ---------------------- 4. 基础模型训练与初步评估 ----------------------
# 初始化极端随机森林分类器,使用默认参数
etc_base = ExtraTreesClassifier(random_state=42)
# 训练模型
etc_base.fit(X_train, y_train)
# 测试集预测
y_pred_base = etc_base.predict(X_test)
y_proba_base = etc_base.predict_proba(X_test)[:, 1]  # 预测为良性的概率

# 输出初步评估结果
print("\n="*50)
print("基础模型(默认参数)评估结果")
print("="*50)
print(f"模型准确率:{accuracy_score(y_test, y_pred_base):.4f}")
print(f"\n分类报告:\n{classification_report(y_test, y_pred_base)}")

# 4.1 绘制混淆矩阵
plt.figure(figsize=(8, 6))
cm_base = confusion_matrix(y_test, y_pred_base)
sns.heatmap(cm_base, annot=True, fmt='d', cmap='viridis', cbar=True)
plt.xlabel("Predicted Label", fontsize=14)
plt.ylabel("True Label", fontsize=14)
plt.title("Confusion Matrix - Base Model", fontsize=16)
plt.show()

# 4.2 绘制ROC曲线并计算AUC
fpr_base, tpr_base, _ = roc_curve(y_test, y_proba_base)
auc_base = auc(fpr_base, tpr_base)
plt.figure(figsize=(10, 8))
plt.plot(fpr_base, tpr_base, color='darkorange', lw=2, label=f'ROC Curve (AUC = {auc_base:.2f})')
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')  # 随机猜测基线
plt.xlabel('False Positive Rate', fontsize=14)
plt.ylabel('True Positive Rate', fontsize=14)
plt.title('ROC Curve - Base Model', fontsize=16)
plt.legend(loc="lower right")
plt.show()

# ---------------------- 5. 学习曲线分析:判断过拟合/欠拟合 ----------------------
def plot_learning_curve(estimator, title, X, y, cv=5, n_jobs=-1):
    """绘制学习曲线的工具函数"""
    plt.figure(figsize=(10, 8))
    plt.title(title, fontsize=16)
    plt.xlabel("Training Examples", fontsize=14)
    plt.ylabel("Accuracy Score", fontsize=14)
    # 生成学习曲线数据
    train_sizes, train_scores, test_scores = learning_curve(
        estimator, X, y, cv=cv, n_jobs=n_jobs, train_sizes=np.linspace(0.1, 1.0, 10)
    )
    # 计算均值和标准差
    train_mean = np.mean(train_scores, axis=1)
    test_mean = np.mean(test_scores, axis=1)
    train_std = np.std(train_scores, axis=1)
    test_std = np.std(test_scores, axis=1)
    # 绘制曲线
    plt.grid(True, linestyle='--', alpha=0.5)
    plt.fill_between(train_sizes, train_mean-train_std, train_mean+train_std, alpha=0.1, color='r')
    plt.fill_between(train_sizes, test_mean-test_std, test_mean+test_std, alpha=0.1, color='g')
    plt.plot(train_sizes, train_mean, 'o-', color='r', label='Training Score')
    plt.plot(train_sizes, test_mean, 'o-', color='g', label='Cross-Validation Score')
    plt.legend(loc="best")
    plt.show()

# 绘制极端随机森林的学习曲线
plot_learning_curve(etc_base, "Learning Curve - Extra Trees", X, y)

# ---------------------- 6. 特征重要性分析 ----------------------
# 获取特征重要性并排序
feat_importance = pd.Series(etc_base.feature_importances_, index=X.columns)
feat_importance = feat_importance.sort_values(ascending=False)

# 绘制特征重要性条形图(前15个特征)
plt.figure(figsize=(12, 8))
sns.barplot(x=feat_importance[:15].values, y=feat_importance[:15].index, palette="viridis")
plt.title("Top 15 Feature Importance", fontsize=16)
plt.xlabel("Importance Score", fontsize=14)
plt.ylabel("Features", fontsize=14)
plt.show()

# 输出前10个重要特征
print("\n="*50)
print("前10个核心特征重要性")
print("="*50)
print(feat_importance.head(10).round(4))

# ---------------------- 7. 超参数调优:网格搜索优化模型 ----------------------
# 定义待调优的超参数网格
param_grid = {
    'n_estimators': [50, 100, 150],  # 决策树数量
    'max_depth': [None, 10, 20, 30],  # 树的最大深度
    'min_samples_split': [2, 4, 6],   # 节点分裂的最小样本数
    'min_samples_leaf': [1, 2, 4],    # 叶子节点的最小样本数
    'max_features': ['sqrt', 'log2']  # 每个节点随机选的特征数
}

# 初始化模型并进行5折交叉验证的网格搜索
etc_grid = ExtraTreesClassifier(random_state=42)
grid_search = GridSearchCV(
    estimator=etc_grid,
    param_grid=param_grid,
    cv=5,
    n_jobs=-1,
    scoring='accuracy',
    verbose=1
)
# 训练调优模型
grid_search.fit(X_train, y_train)

# 输出最优参数和交叉验证得分
print("\n="*50)
print("超参数调优结果")
print("="*50)
print(f"最佳超参数:{grid_search.best_params_}")
print(f"最佳交叉验证准确率:{grid_search.best_score_:.4f}")

# ---------------------- 8. 优化后模型评估与对比 ----------------------
# 获取最优模型
etc_best = grid_search.best_estimator_
# 测试集预测
y_pred_best = etc_best.predict(X_test)
y_proba_best = etc_best.predict_proba(X_test)[:, 1]

# 输出优化后模型评估结果
print("\n="*50)
print("优化后模型评估结果")
print("="*50)
print(f"模型准确率:{accuracy_score(y_test, y_pred_best):.4f}")
print(f"\n分类报告:\n{classification_report(y_test, y_pred_best)}")

# 8.1 绘制优化后模型的混淆矩阵
plt.figure(figsize=(8, 6))
cm_best = confusion_matrix(y_test, y_pred_best)
sns.heatmap(cm_best, annot=True, fmt='d', cmap='Spectral', cbar=True)
plt.xlabel("Predicted Label", fontsize=14)
plt.ylabel("True Label", fontsize=14)
plt.title("Confusion Matrix - Optimized Model", fontsize=16)
plt.show()

# 8.2 绘制优化前后的ROC曲线对比
fpr_best, tpr_best, _ = roc_curve(y_test, y_proba_best)
auc_best = auc(fpr_best, tpr_best)
plt.figure(figsize=(10, 8))
plt.plot(fpr_base, tpr_base, color='darkorange', lw=2, label=f'Base Model (AUC = {auc_base:.2f})')
plt.plot(fpr_best, tpr_best, color='darkgreen', lw=2, label=f'Optimized Model (AUC = {auc_best:.2f})')
plt.plot([0, 1], [0, 1], color='gray', lw=2, linestyle='--')
plt.xlabel('False Positive Rate', fontsize=14)
plt.ylabel('True Positive Rate', fontsize=14)
plt.title('ROC Curve - Base vs Optimized Model', fontsize=16)
plt.legend(loc="lower right")
plt.show()

3.3 实战关键步骤解读

  1. 数据探索:通过描述性统计、特征分布、相关性热力图,快速了解数据特征,为后续建模提供依据(如高相关性特征可考虑降维,树模型可忽略);
  2. 数据划分:使用分层抽样(stratify=y),保证训练集和测试集的类别分布一致,避免因数据不平衡导致模型评估偏差;
  3. 基础模型训练:sklearn的ExtraTreesClassifier封装了极端随机森林的所有逻辑,一行代码初始化、一行代码训练,新手易上手;
  4. 模型评估:从准确率、分类报告、混淆矩阵、ROC/AUC多维度评估,不仅看整体准确率,还关注模型在“恶性/良性”两类上的预测表现(避免模型偏向多数类);
  5. 学习曲线分析:通过训练集和交叉验证集的得分变化,判断模型是否过拟合/欠拟合(若两条曲线趋于重合且得分较高,说明模型泛化能力好);
  6. 特征重要性分析:极端随机森林内置特征重要性评估,可直接获取每个特征对模型的贡献度,为特征筛选、业务解释提供依据;
  7. 超参数调优:用GridSearchCV进行网格搜索+5折交叉验证,优化核心超参数(树数、树深度、特征数等),进一步提升模型性能;
  8. 模型对比:通过混淆矩阵、ROC曲线对比优化前后的模型,直观展示调优效果。

3.4 实战结果核心结论

  1. 极端随机森林在乳腺癌分类任务上基础模型即可达到95%以上的准确率,AUC接近0.99,表现优异;
  2. 超参数调优后,模型的准确率和稳定性会进一步提升,错误分类数大幅减少;
  3. 特征重要性分析显示,worst concave points、worst perimeter、worst radius等特征对乳腺癌良恶性分类的贡献最大,与医学常识一致。

四、极端随机森林的优缺点分析

结合原理和实战,总结极端随机森林的核心优缺点,帮助本科/研究生理解其适用场景和局限性,避免盲目使用:

优点

  1. 训练速度极快:无需计算最优切分点,直接随机切分,比随机森林、XGBoost的训练速度快很多,适合大规模数据集;
  2. 抗过拟合能力强:双重随机化+无Bootstrap采样,大幅降低模型方差,在噪声多、样本质量不高的数据集上表现稳定;
  3. 无需数据预处理:树模型对特征的量纲、缩放不敏感,无需归一化/标准化,可直接处理原始数据,节省预处理时间;
  4. 内置特征重要性:可直接输出特征贡献度,便于特征筛选、模型解释和业务分析;
  5. 鲁棒性好:对缺失值、轻微异常值的容忍度较高,无需复杂的异常值处理,适合实际业务中的“脏数据”;
  6. 并行训练:所有决策树独立构建,可充分利用多核CPU,进一步提升训练速度。

缺点

  1. 模型可解释性弱:属于“黑箱模型”,虽然能输出特征重要性,但无法解释单棵树的决策路径,更无法解释整个森林的投票逻辑,不适合对可解释性要求高的场景(如医疗诊断、金融风控);
  2. 内存消耗较大:构建大量决策树时,会占用较多内存资源,尤其是在特征维度高、树数多的情况下,对低配设备不友好;
  3. 单棵树拟合性差:因随机切分,单棵决策树的拟合能力较弱(偏差稍高),若树数设置过少,模型整体性能会大幅下降;
  4. 对极端异常值敏感:虽然对轻微异常值容忍度高,但极端异常值可能导致部分决策树出现错误切分,影响整体投票结果;
  5. 超参数调优有一定难度:核心超参数(树数、树深度、特征数)之间存在相互影响,需通过交叉验证才能找到最优组合,耗时较长。

五、极端随机森林与同类集成算法的对比

将极端随机森林与随机森林、GBDT、XGBoost、LightGBM这四种最常用的集成算法做全面对比,从构造方式、训练速度、泛化能力等维度梳理,方便本科/研究生根据场景快速选型:

算法名称构造方式训练速度泛化能力参数调优难度特征重要性评估核心所属家族
极端随机森林随机选特征+随机切分,无Bootstrap较快较强(稳定性高)中等偏高内置,直观Bagging(并行)
随机森林随机选特征+最优切分,有Bootstrap较快较强中等内置,直观Bagging(并行)
GBDT串行训练,后树纠正前树错误较慢强(调优后)较高基于分裂频次Boosting(串行)
XGBoost改进GBDT,加正则化+并行计算较快很强(调优后)较高内置,直观Boosting(串行)
LightGBM直方图优化,叶子生长策略很快很强较高内置,直观Boosting(串行)

核心对比结论

  1. 训练速度:LightGBM > 极端随机森林 > 随机森林 ≈ XGBoost > GBDT;
  2. 泛化能力:XGBoost/LightGBM(调优后)> 极端随机森林 > 随机森林 > GBDT;
  3. 调优难度:GBDT/XGBoost/LightGBM > 极端随机森林 > 随机森林;
  4. 稳定性:极端随机森林 > 随机森林 > XGBoost/LightGBM > GBDT。

六、算法选型:何时优先选极端随机森林?

结合数据规模、计算资源、任务要求(速度/精度/可解释性),给出明确的选型建议,本科/研究生做课程设计、竞赛,或工业界做项目时可直接参考:

优先选择极端随机森林的场景

  1. 大规模/高维数据处理:数据量十万级以上、特征维度数百维以上,对训练速度要求高,且无需极致精度;
  2. 数据噪声多、样本质量不高:实际业务中的“脏数据”(如缺失值多、轻微异常值多),需要模型有强稳定性、抗过拟合;
  3. 快速模型迭代:开发/调试阶段,需要快速得到模型基线结果,便于后续特征工程、算法对比;
  4. 无强可解释性要求:仅关注预测结果的准确性,无需解释模型的决策过程(如推荐系统、销量预测);
  5. 计算资源有限(多核CPU):极端随机森林支持并行训练,能充分利用多核CPU,在低配设备上也能快速训练。

考虑其他算法的场景

  1. 追求极致预测精度:如Kaggle竞赛、金融风控、医疗诊断等,对精度要求远高于速度,优先选XGBoost/LightGBM(调优后精度更高);
  2. 对模型可解释性要求高:如法律、医疗、金融监管等场景,需要解释模型决策依据,优先选决策树/随机森林(可分析决策路径),或线性模型(可看特征权重);
  3. 内存资源极度受限:如嵌入式设备、移动端开发,优先选简化版随机森林(减少树数)或单棵决策树,避免极端随机森林的高内存消耗;
  4. 数据类别严重不平衡:极端随机森林对不平衡数据的处理能力一般,优先选XGBoost/LightGBM(支持样本加权、类别权重),或结合过采样/欠采样策略;
  5. 小数据集建模:样本数少于1000时,极端随机森林的随机性可能导致模型欠拟合,优先选随机森林/GBDT(拟合性更好)。

七、总结

极端随机森林是集成学习中Bagging家族的进阶算法,核心优势是高速度、高稳定性、强抗过拟合能力,通过“双重随机化”实现了“以轻微偏差换大幅方差降低”,是大规模、高噪声、高维数据建模的优选算法,也是本科/研究生必须掌握的机器学习算法之一。

核心学习要点

  1. 理解“极端”的本质:极端随机森林与随机森林的核心区别是随机切分点,这是其速度快、方差低的根本原因;
  2. 掌握双重随机化策略:随机选特征+随机切分点,是极端随机森林的核心创新,也是理解其原理的关键;
  3. 实战重点:sklearn的ExtraTreesClassifier/ExtraTreesRegressor可快速实现模型,重点关注特征重要性分析和超参数调优(树数、树深度、特征数);
  4. 选型核心:极端随机森林是“速度优先、精度适中、稳定性强”的算法,适合大规模、高噪声数据,若追求极致精度,优先选XGBoost/LightGBM。

拓展学习方向

  1. 极端随机森林的改进版:如Extra Trees with Feature Selection(结合特征筛选)、Weighted Extra Trees(对树进行加权投票),进一步提升模型性能;
  2. 与Boosting算法结合:如将极端随机森林作为基础模型,结合GBDT的串行提升策略,实现“速度+精度”的双重提升;
  3. 处理不平衡数据:结合SMOTE过采样、ADASYN采样,或在模型中设置class_weight参数,提升极端随机森林在不平衡数据上的表现;
  4. 分布式训练:使用Dask、PySpark实现极端随机森林的分布式训练,处理亿级以上大规模数据集。

本文的原理推导和实战代码均做了简化和详细解释,适合本科/研究生入门和进阶,大家可以直接运行代码,替换数据集和超参数,适配自己的课程设计、竞赛和项目需求。

极端随机森林(Extra Trees):用“随机到极致”的智慧,打造更快更稳的集成模型 极端随机森林(Extra Trees)是一种集成学习方法,通过“特征随机选择+切分点随机生成”的双随机策略,比随机森林更加高效和稳定。它在训练时不寻找最优切分点,而是随机选择切分点,并使用全量数据建树,从而降低了方差,提高了训练速度。在乳腺癌分类任务中,Extra Trees表现出色,准确率高达96%,且对恶性肿瘤的识别能力强。该模型适用于高维数据和追求高效预测的场景,通过“集体投票”机制抵消随机性,实现更稳定的预测结果。 阅读详情

相关推荐

为什么极度随机树比随机森林更随机?这个极度随机的特性有什么好处?在训练阶段、极度随机数比随机森林快还是慢?

为什么极度随机树比随机森林更随机?这个极度随机的特性有什么好处?在训练阶段、极度随机数比随机森林快还是慢? ExtRa Trees是Extremely Randomized Trees的缩写,意思就是极度随机树。极端随机树,简称ExtRa Trees,是一种集成机器学习算法。具体地说,它是一个决策树的集成学习方法,并与其他决策树集成算法相关,如bagging和随机森林(random forest)。 极度随机树比常规随机森林更具有随机性(Randomness),因为该模型在每次分..

data+scenario+science+insight 5201

基于OpenCV的机器学习(八)极端随机树

极端随机树 极端随机数(Extremely randomized Tree,ET或Extra-Trees)算法与随机森林算法十分相似,都是由许多决策树构成。但该算法与随机森林有两点主要的区别: 1.随机森林算法应用的是Bagging模型,而ET是使用所有的训练样本得到每颗决策树的,也就是说,每颗决策树应用的是相同的全部训练样本。 2.随机森林算法是在一个随机子集内得到的最佳分叉属性,而ET是完全随机地得到分叉值,从而实现对决策树的分叉。 ...

yang_jianfeng的博客 2105

【菜菜的sklearn机器学习】(4)随机森林

【菜菜的sklearn机器学习】-随机森林

sinat_40759442的博客 1255

决策树与剪枝、bagging与随机森林、极端随机树、Adaboost、GBDT算法原理详解

1、决策树 基本概念:从一组无次序、无规则的实例中推理出决策树表示形式的分类规则。 1.1 ID3 具体方法是:从根节点开始,对节点计算所有可能的特征的信息增益,选择信息增益最大的特征作为节点的特征,由该特征的不同取值建立子节点;再对子节点递归调用以上方法,构建决策树。 基础概念: - 熵: 熵越大,随机变量的不确定性越大。 - 条件熵: H(Y|X)表示在已知随机变量X的条件下...

qq_29153321的博客 1万+

从代码学习深度强化学习 - 目标导向的强化学习-HER算法 PyTorch版

经典的深度强化学习算法,如 PPO、SAC 等,在各自擅长的任务中都取得了非常好的效果。但它们通常都局限在解决单个任务上,换句话说,训练好的算法,在运行时也只能完成一个特定的任务。想象一个场景:我们想让一个机械臂能把桌子上的任何一个物体重置到任意一个指定位置。对于传统强化学习而言,如果目标物体的初始位置和目标位置每次都变化,那么这就是一个全新的任务。即便任务的“格式”——抓取并移动——是一样的,但策略本身可能需要重新训练。这显然效率极低。为了解决这类问题,

weixin_43887510的博客 1504

深入解析DMR协议中的4-CPFSK调制技术与实现

本文深入解析了DMR协议中采用的4-CPFSK调制技术。该技术凭借其连续相位、恒包络的特性,在有限的12.5kHz信道带宽内实现了稳健的通信,有效对抗干扰并提升功放效率,是DMR数字对讲机清晰、稳定通信的核心保障。文章详细阐述了其原理、实现细节及在协议栈中的协同作用。

weixin_29306875的博客 235

机器学习——随机森林算法、极端随机树和单颗决策树分类器对手写数字数据进行对比分析

随机森林也是基于决策树的算法,只不过是利用集成的思想来提升单颗决策树的分类性能。主要特点是由于随机选择样本和特征,所以不容易陷入过拟合。随机森林算法的主要步骤从样本集中用Bootstrap随机选取n个样本,并从所有属性中随机选取K个属性,选择最佳分割属性作为节点建立分类器(CART,SVM等)重复以上m次,即建立了m个分类器,并通过投票表决结果,决定数据属于哪一类。随机森林是一种集成学习算法,它将许多决策树组合在一起来提高分类性能。

张小鱼的博客 3060

python气象数据可视化学习笔记8——利用matplotlib和ERA5数据绘制时间-高度气象综合廓线图

利用matplotlib和ERA5数据绘制时间-高度气象综合廓线图

qiuylulu的博客 8070

Extra Trees(极端随机树,Extra Randomized Trees)

• 从所有特征中随机选择一部分特征(数量由 max_features 决定),对于选出来的这些特征,分别随机生成划分阈值,然后基于这些随机生成的划分方案,根据不纯度衡量指标(如基尼系数用于分类任务)来确定最佳的特征及对应的划分阈值,进行节点划分,不断重复这个过程直到满足停止条件(比如树达到最大深度、节点样本数小于某个阈值等),构建出一棵完整的决策树。构建多棵这样的决策树,对于新的数据样本进行预测时,通过综合多棵树的预测结果(比如分类任务中常用投票机制,回归任务中常用平均机制)来得到最终的预测值。

qq_40844444的博客 7735

别再只用真彩色了!手把手教你用ENVI主成分分析(PCA)给遥感图像‘美颜’与‘瘦身’

本文详细介绍了如何利用ENVI主成分分析(PCA)技术优化遥感图像处理,实现数据‘美颜’与‘瘦身’。通过PCA的维度压缩、噪声分离和特征增强三大优势,显著提升高光谱数据的可视化效果和分析效率。文章还提供了ENVI操作的最佳实践和常见问题解决方案,帮助读者掌握这一遥感图像处理的游戏规则改变者。

weixin_28465009的博客 277

C#与倍福TwinCAT3通信实战:ADS协议封装与设备变量读写完整源码

倍福(Beckhoff)TwinCAT3 作为工业自动化领域主流的软PLC系统,其内置的ADS(Automation Device Specification)协议是实现上位机与TwinCAT3通信的核心标准。传统ADS通信开发存在门槛高(协议细节复杂)、稳定性差(缺乏统一异常处理)、复用性低(重复编码)等问题。本文基于 C# 技术栈,聚焦“协议封装标准化、变量读写易用化、通信稳定工业化”核心需求,提供一套完整的 ADS 协议封装方案与设备变量读写源码。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1987

【集成算法】随机森林详解

本文系统介绍了随机森林算法的核心原理与实战应用。主要内容包括:1)通过通俗类比解释随机森林的集成思想和工作流程;2)从数学角度分析Bagging和随机特征选择如何降低模型方差;3)详细推导Gini不纯度、OOB误差等关键指标;4)提供乳腺癌分类任务的完整Python实现,涵盖数据预处理、模型训练与评估全流程。文章强调随机森林通过"样本随机+特征随机"的双重策略降低模型方差,在保持较低偏差的同时显著提升泛化性能,使其成为机器学习中高效易用的经典算法。

DeepModel的博客 1164

南 京 农 业 大 学 试 题 纸 附表(rape.csv)是25个油菜材料,测得每个材料的千粒重、亚油酸等的含量. (1) 对物质含量的八个指标作主成分分析,画出碎石图和主成分得分图; (2) 选

(1)请用n1

Mrrunsen的博客 498

【机器学习之集成算法】RandomForest和XGboost原理介绍与代码实现

集成学习(ensemble learning)是时下非常流行的算法,广泛应用于各种竞赛中,它本身不是一个单独的机器学习算法,而是通过在数据上构建多个模型,集成所有模型的模型结果。基本上所有的机器学习领域都可以看到集成学习的身影,在现实中,集成学习也有相当大的作用,它可以用来做市场营销模拟的建模,统计客户来源、流失,也可以用作预测疾病的风险和患者的感染性,在现在的各种竞赛中,随机森林,梯度提升树,Xgboost等集成算法随处可见。 集成算法会考虑多个评估器的建模结果,汇总成一个综合的结果,以此来获取比单个模型

qq_43018832的博客 3320

Yolo8行人车辆目标检测实战分享 完整项目代码可直接运行

Yolo8行人车辆目标检测实战分享 完整项目代码可直接运行

1295

基于FPGA的超声成像算法的硬件设计

顶层设计如下图: 1. Verilog的硬件设计型号是 ALTERA 2.数据的输入量已经给出,附上的四个矩阵输入都要实现。 3.波束形成部分要在FPGA上完成,最后的matlab的代码部分只是获取数据后的图像显示 4.不需要动态聚焦,只是完成固定的四个不同输入数据的显示即可 5.不需要实物,但要实现硬件的仿真,要有相应的模块图和结构图,类似如下 具体实现过程和最终结果如下: 定义aperture(孔径)大小————输入量,数据已给出,一共四个规格的ape...

FPGA/MATLAB学习教程/源码/项目合作开发 1万+

【机器学习:集成算法】

集成学习: (Ensemble Learning)集成学习是机器学习的一种范式,它的主要思想是使用多个弱学习器来构建一个整体泛化性更强的最终学习器来完成任务,它认为集体的智慧比单个的个体更加的准确、鲁棒。参与组合的模型又叫弱学习器或者基学习器。集成学习思想分为bagging思想和boosting思想。

Keep__Fighting的博客 1125

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

【集成算法】Stacking堆叠详解

本文详细讲解了集成学习中的Stacking堆叠算法。首先通过生活化比喻阐释其核心思想:多个基础模型(专家)提供预测,元学习器(总裁判)融合结果。随后分步骤解析了Stacking的两层结构流程,并给出数学公式推导,阐明基础模型预测与元学习器融合的原理。文中特别强调三个关键点:避免信息泄露、基础模型多样性和元学习器简洁性。最后提供了Python实现示例,使用随机森林、梯度提升和SVM作为基础模型,Ridge回归作为元学习器完成回归任务。全文兼顾理论深度与实践指导,适合机器学习初学者和进阶者学习应用。

DeepModel的博客 1085

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

【集成算法】

初始化方法:在`__init__`方法中,定义了网络的结构,包括两个卷积层(`conv1`和`conv2`)、两个最大池化层(`pool1`和`pool2`)以及两个全连接层(`fc1`和`fc2`)。以下是对这些核心内容的简要概述:1. 导入模块: - 导入了PyTorch库及其子模块,包括`torch`、`torch.nn`、`torch.optim`、`torch.nn.functional`和`torch.backends.cudnn`。通过集成不同模态的特征,可以提高识别的鲁棒性。

2502_90678230的博客 516

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

【集成算法】Bagging算法超详细解析

摘要 Bagging算法是一种经典的集成学习方法,通过自助采样生成多个子数据集,独立训练基学习器后采用投票或平均策略进行结果聚合。其核心优势在于降低模型方差、提升稳定性,尤其适用于高方差模型(如决策树)。算法流程分为三步:自助采样生成子数据集、并行训练基学习器、集成预测结果。数学原理表明,集成模型的方差是单模型的1/m,能有效防止过拟合。实战部分展示如何使用Python实现非线性分类任务,验证了Bagging在拟合复杂边界和提升模型鲁棒性方面的优势。该算法原理简单、易于实现且支持并行计算,是本科/研究生学习

DeepModel的博客 944

随机森林调参_随机森林调参实战(信用卡欺诈预测)

↑↑点击上方蓝字,回复资料,N个G的惊喜本文我们重点讲一下:1、集成学习、Bagging和随机森林概念2、随机森林参数解释及设置建议3、随机森林模型调参实战4、随机森林模型优缺点总结集成学习、Bagging和随机森林集成学习并不是一个单独的机器学习算法,它通过将多个基学习器(弱学习器)进行结合,最终获得一个强学习器。这里的弱学习器应该具有一定的准确性,并且要有多样性(学习器之间具有差异...

weixin_40001048的博客 321

机p践:16 基成算法

文章目录16.1集成的方法16.2装袋算法16.2.1装袋决策树 集成算法是提高算法准确度的有效方法之一, 本章介绍如何通过scikit-learn来实现集成算法。 本章介绍以下 装袋( Bagging)算法 提升( Boosting) 投票( Voting) 16.1集成的方法 Bagging: 先将训练集分离成多个子集,然后通过各个子集训练多个模型。 Boosting:训练多个模型并组成一个序列,序列中的每一个模型都 会修正前一个模型的错误。 Voting:训练多个模型,并采用样本统计来提高

fgh123的博客 953

【集成算法】GBDT详解(梯度提升决策树)

本文详细讲解了梯度提升决策树(GBDT)的核心概念、数学原理和实战应用。GBDT是一种通过逐步纠错的决策树团队实现高精度预测的集成算法,其核心思想是拟合伪残差(负梯度)来最小化损失函数。文章从通俗的生活场景类比入手,深入剖析了GBDT的数学原理和算法流程,包括加法模型、伪残差计算、迭代训练等关键步骤。最后以加州房价预测为例,提供了完整的Python实战代码,涵盖数据预处理、模型训练、参数调优和评估等全流程。GBDT具有精准纠错、适配复杂数据、自动特征选择等优势,适用于回归、分类等多种监督学习任务。

DeepModel的博客 1196

sklearn 随机森林_(跟我一起学)机器学习--随机森林(原理+实战)

随机森林一、什么是集成算法?(备注:有一期专门讲解集成算法)集成学习(ensemble learning)是时下非常流行的机器学习算法,它本身不是一个单独的机器学习算法,而是通过在数据上构建多个模型,集成所有模型的建模结果。集成算法会考虑多个评估器的建模结果,汇总之后得到一个综合的结果,以此来获取比单个模型更好的回归或 分类表现。通常来说,有三类集成算法:装袋法(Bagging),提升法(Boos...

weixin_39633807的博客 279

RandomForest 随机森林算法与模型参数的调优

随机森林算法由多个决策树分类器组成,每一个子分类器都是一棵 CART 分类回归树,所以随机森林既可以做分类,又可以做回归。

@码农充电站的专栏 1万+

机器学习之随机森林(手推公式版)

本篇博文主要介绍了机器学习里面的随机森林算法,并给出了相关的计算过程,最后使用主流的机器学习库sklearn来实现随机森林。机器学习(手推公式版)系列持续更新中...

夏小悠的博客 2万+
上一篇: 【集成算法】Stacking堆叠详解
下一篇: 【集成算法】随机森林详解
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值