第L6周：机器学习-随机森林(RF)

原创 已于 2024-09-14 11:11:39 修改 · 1.5k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #随机森林 #人工智能

于 2024-09-12 12:06:32 首次发布

目标：
1.什么是随机森林（RF）
随机森林（Random Forest, RF）是一种由 决策树 构成的 集成算法 ，采用的是 Bagging 方法，他在很多情况下都能有不错的表现。其是由很多决策树构成的，不同决策树之间没有关联。当我们进行分类任务时，新的输入样本进入，就让森林中的每一棵决策树分别进行判断和分类，每个决策树会得到一个自己的分类结果，决策树的分类结果中哪一个分类最多，那么随机森林就会把这个结果当做最终的结果。个人理解：就是通过不维度去使用决策树去分类，每个决策树都有自己的分类结果 ，再把所有的结果进行统计，得出分类最多的那个分类就是预测的最终结果 。
2. Bagging方法：Bagging的主要思想如下图所示，首先从数据集中采样出T个数据集，然后基于这T个数据集，每个训练出一个基分类器，再讲这些基分类器进行组合做出预测。Bagging在做预测时，对于分类任务，使用简单的投票法。对于回归任务使用简单平均法。若分类预测时出现两个类票数一样时，则随机选择一个。
image.png
3.目标：从一个天气数据集去推送天气情况

最低0.47元/天 解锁文章
【机器学习-21】集成学习---Bagging之随机森林（RF）
qq_38614074的博客
04-28 1万+
在机器学习的广袤领域中，集成学习是一种强大且灵活的策略，它通过将多个单独的学习器（或称为“基学习器”）组合起来，形成一个更加强大的学习器，以提升模型的预测性能。集成学习的核心思想在于“集体智慧”的力量，即多个学习器的联合决策通常会比单一学习器的决策更为准确和稳健。集成学习的重要性在于它能够有效解决单一学习器可能存在的过拟合、欠拟合、稳定性差等问题。通过将多个基学习器的预测结果进行综合，集成学习不仅能够提高预测精度，还能增强模型的鲁棒性和泛化能力。
随机森林分类、回归、调参、特征重要性
2301_77323419的博客
01-09 4937
训练模型，设置25棵树，计算袋外误差。解释一下袋外数据的概念：有放回抽样，每个样本被抽到的概率是1/n，所以不被抽到的概率是1-1/n，所以n个样本都不被抽到的概率就是：（1-1/n）^n，用洛必达法则化简，这个概率收敛到1/e，约等于0.37。正常来说，只要特征值不要设置的太小，所有特征都会被整个森林抽取到用来训练，所以相对来说这个值对整个模型的影响不是太大，但是这个值越大，单棵树需要考虑的特征越多，虽然模型的表现可能会更好，但是增加这个值对导致算法运行速度变慢，所以我们需要考虑去找一个平衡值。
随机森林RF原理总结
小朱小朱绝不认输的博客
08-13 1万+
在集成学习原理中知道，集成学习分为两部分Bagging和Boosting。随机森林RF作为Bagging方法的典型例子，以其并行训练的优点在如今处理数据问题上广受欢迎。随机森林，顾名思义，是有多棵树组成的森林，故RF的弱学习器都是决策树。RF=Bagging+DT。下面介绍一下RF的相关知识。Bagging方法就不再介绍，可以回顾集成学习原理。 1.决策树（DT） 在介绍随机森林前，简单的介绍一下其构成弱学习器决策树DT。决策树是比较经典的机器学习算法，可以用来处理分类问题和回归问题。同时也是集成学习中弱学
随机森林（Random Forest）(RF)
weixin_48539970的博客
11-04 1763
随机森林就是多棵决策树在一起组成的森林，就是多个决策树执行民主决策的过程。
【机器学习】随机森林RF
weixin_30929295的博客
11-02 334
随机森林（RF, RandomForest）包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。通过自助法（boot-strap）重采样技术，不断生成训练样本和测试样本，由训练样本生成多个分类树组成的随机森林，测试数据的分类结果按分类树投票多少形成的分数而定。 随机森林以随机的方式建立一个森林，森林里有很多决策树，且每棵树之间无关联，当...
第L8周：机器学习｜随机森林
lihuhelihu的博客
10-03 863
本项目使用了一个人工合成的天气数据集，模拟了雨天、晴天、多云和雪天四种类型，在分析过程中，对数据进行了异常值处理，并通过描述性统计对数据进行了初步探索，接着，构建了随机森林模型进行预测，并生成了模型的重要特征图，该项目适用于初学者学习如何进行全面的数据分析和机器学习模型构建。当我们进行分类任务时，新的输入样本进入，就让森林中的每一棵决策树分别进行判断和分类，每个决策树会得到一个自己的分类结果，决策树的分类结果中哪一个分类最多，那么随机森林就会把这个结果当做最终的结果。
L8：机器学习｜随机森林学习记录
m0_74907726的博客
09-20 1675
随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。对于回归问题，最终的回归结果是多个决策树的预测结果的平均值。随机森林通常通过观察每个特征在多个决策树中的分裂情况以及其对模型性能的影响来估计特征的重要性。异常值处理————描述性统计————构建随机森林模型进行预测————生成了模型的重要特征图。假设总共有M个特征，在每次分裂节点时，从这些特征中随机选择m个特征，其中m通常由用户指定。在每次决策树节点的分裂过程中，随机森林引入了特征的随机性。
【零基础学AI】第13讲：随机森林实战 - 用户行为预测
wiyi9891的专栏
06-30 950
摘要 本课程介绍了随机森林模型及其应用，主要内容包括： 随机森林原理：通过多棵决策树投票提高预测准确性，降低单棵树偏差，采用Bootstrap抽样和特征随机性增强多样性。 模型优势：准确性高、抗过拟合、可并行处理大数据、自动评估特征重要性、对缺失数据鲁棒性强。 实战案例： 生成2000条用户行为模拟数据 构建包含年龄、使用时长、消费金额等20+特征的数据集 基于多维度规则创建"下月活跃"预测目标 进行数据探索分析和特征可视化
机器学习-随机森林-总结及源代码应用（python版）
数据挖掘+大数据研发+算法学习
06-19 5583
随机森林 摘要 随机森林是一种比较新的机器学习模型。随机森林对多元共线性不敏感，结果对缺失数据和非平衡的数据比较稳健，可以很好地预测多达几千个解释变量的作用（Breiman 2001b），被誉为当前最好的算法之一（Iverson et al. 2008）。 随机森林顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于...
随机森林（RF）
xiaoming1999的博客
11-11 4475
RF概念 随机森林指的是利用多棵树对样本进行训练并预测的一种分类器 RF = 决策树+bagging+随机属性选择 RF算法流程 样本的随机：从样本集中用bagging的方式，随机选择n个样本。 特征的随机：从所有属性d中随机选择k个属性（k<d），然后从k个属性中选择最佳分割属性作为节点建立CART决策树。 重复以上两个步骤m次，建立m棵CART决策树。 这m棵CART决策树形成随机森林，通过投票表决结果，决定数据属于哪一类。 ...
机器学习笔记-随机森林（Random Forest，RF）
小刘同学要努力的博客
12-14 1394
机器学习 随机森林 RF
机器学习之RF
Yale的博客
02-04 2183
执行随机森林算法所涉及的基本步骤如下： 从数据集中选择N个随机记录。 根据这N条记录构建决策树。 在算法中选择所需的树数，然后重复步骤1和2。 在回归问题的情况下，对于新记录，林中的每个树都预测Y（输出）的值。 可以通过取森林中所有树木预测的所有值的平均值来计算最终值。或者，在分类问题的情况下，林中的每个树都预测新记录所属的类别。最后，新记录被分配到赢得多数投票的类别。 随机森林有很多优点： 随...
随机森林Random Forest （RF）
weixin_42764932的博客
12-19 2387
Random Forest 随机森林实际上是一种特殊的bagging方法，它将决策树用作bagging中的模型。 随机森林就是对决策树的集成，但有两点不同： （1）采样的差异性：从含m个样本的数据集中有放回的采样，得到含m个样本的采样集，用于训练。这样能保证每个决策树的训练样本不完全一样。 首先，从原始的数据集中采取有放回的抽样，构造子数据集，子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据集中的元素也可以重复。第二，利用子数据集来构建子决策树，将这个数据放到每个子决策树中，每
【机器学习(十九)】零代码开发之随机森林(Random Forest,RF)算法-Sentosa_DSML社区版
KennethYuen
10-29 1357
零代码开发之随机森林(Random Forest,RF)算法-Sentosa_DSML社区版
RF模型（随机森林模型）详解
热门推荐
tt丫的博客
03-24 2万+
入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。 一、RF简介 RF模型属于集成学习中的bagging流派 1、集成学习简介 集成学习分为2派： （1）boosting：它组合多个弱学习器形成一个强学习器，且各个弱学习器之间有依赖关系。 （2）bagging：同样的，它也是组合多个弱学习器形成一个强学习器，但它各个弱学习器之间没有依赖关系，而且可以并行拟合。 2、bagging流派算法简介 ...
RF分类-随机森林（Random Forest）
落魄君子Blog
12-22 3061
源码RF分类（随机森林分类）是一种集成学习方法，基于**随机森林（Random Forest）**算法，用于解决分类和回归问题。随机森林通过构建多个决策树并结合它们的预测结果来提高模型的准确性和稳健性。相比单一的决策树，随机森林具有更强的泛化能力，能够有效减少过拟合现象。该MATLAB代码实现了基于**随机森林（Random Forest）**的分类算法，简称“RF分类”。数据预处理导入数据集，并随机打乱数据顺序。将数据集划分为训练集和测试集。对数据进行归一化处理，以提高训练效果。
第24步 机器学习分类实战：随机森林（RF）建模
Jet4505的博客
02-20 2242
随机森林（RF）建模
第四章（1.1）机器学习——RF(随机森林)、GBDT、XGBoost算法
两只橙的博客
02-08 2683
一、概念RF、GBDT和XGBoost都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。二、关系根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表就是Boosting，后者的代表是
实验三 房价回归 下面通过本次实验介绍一个机器学习中常用的数据预测分析的实例： 该实验使用kc_house_data数据集，该数据集包含包括西雅图在内的金县的房屋销售价格。其中包括2014年5月至2015年5月间出售的房屋。这是一个评估简单回归模型的绝佳数据集。 我们可以依据房屋的属性信息，包括房屋的卧室数量、卫生间数量、房屋的大小、房屋地下室的大小、房屋的外观、房屋的评分、房屋的修建时间、房屋的翻修时间、房屋的位置信息等，对房屋的价格进行预测。 本实验会使用到的python工具包如下，请各位同学提前部署实验环境： Pip更新： Python -m pip install --upgrade pip Sklearn安装： Python -m pip install scikit-learn matplotlib安装： Python -m pip install matplotlib pandas安装： Python -m pip install pandas seaborn安装： Python -m pip install seaborn 1.初步数据分析 本实验所用数据可以从Kaggle官网下载：（已包含在实验包中）https://www.kaggle.com/harlfoxem/housesalesprediction?select=kc_house_data.csv 数据项说明： 第一列“销售日期”（date) 第二列“销售价格”（price）：房屋交易价格，单位为美元，是目标预测值； 第三列“卧室数”（bedrooms）：房屋中的卧室数目； 第四列“浴室数”（bathrooms）：房屋中的浴室数目； 第五列“房屋面积”（sqft_living）：房屋里的生活面积； 第六列“停车面积”（sqft_lot）：停车坪的面积； 第七列“楼层数”（floors）：房屋的楼层数； 第八列“房屋评分”（grade）：King County房屋评分系统对房屋的总体评分； 第九列“建筑面积”（sqft_above）：除了地下室之外的房屋建筑面积； 第十列“地下室面积”（sqft_basement）：地下室的面积； 第十一列“建筑年份”（yr_built）：房屋建成的年份； 第十二列“修复年份”（yr_renovated）：房屋上次修复的年份； 第十三列"纬度"（lat）：房屋所在纬度； 第十四列“经度”（long）：房屋所在经度。 我们可以利用 pandas 进行初步分析，发现数据完整，没有缺失和重复的现象。原始数据为21613行x21列。 数据分析结果（图/表）： 2.划分测试集和训练集，并进行标准化 因为 id 特征为顺序号，可去掉。 此外，date 特征是交易时间，应与交易价格关系不大， 也去掉。 用 sklearn.model_selection 中的 train_test_split（）划分训练集和验证集。 例如：X_train,X_test, y_train, y_test =sklearn.model_selection.train_test_split(train_data,train_target,test_size=0.4, random_state=0,stratify=y_train) 参数： train_target:要划分的样本结果 test_size:样本的占比 random_state:随机种子 用 sklearn.preprocessing 中的 StandardScaler（）对特征进行标准化。 标准化后，数据会被聚集到0周围。 训练集数据个数： 测试集数据个数： 标准化结果（图）： 3.初步建立模型 选择 K近邻回归、决策树回归、随机森林回归和梯度提升树回归等多个模型进行初步实验，用平均绝对误差、均方误差和 R 方值作评价指标。 各初期模型评价结果（图）： 最后选择的算法是： 4.超参数调优 对梯度提升树的 losss、learning_rate 和 min_samples_leaf 三个超参数分别设置搜索值，进行网格搜索。 进行调优后，再次完成建模，进行回归。并对调优前后的结果进行对比。 最终调优结果为： 调优前后回归结果对比（图）： 5.特征选择 如果因为某种原因要去掉一些特征，如何来分析呢？ 一些常用方法为：用 corr()函数和plot()函数可以分析特征之间以及特征和标签值之间的相关系数, 从而可以删除一些相关系数低的特征。 得到的关联度热力图： 单独分析起居室面积和价格的关系图： 单独分析房屋等级面积和价格的关系图： 单独分析邮政编码和价格的关系图： 经此分析，应去掉的特征： 6.实现梯度提升树回归： 去掉无关的数据项后，使用参数调优后的梯度提升树实现回归，并评价结果。 回归结果评价数据（图）： 与去除多余数据特征之前的回归结果对比： 7.使用神经网络模型进行回归 最后，尝试用全连接层神经网络来建模该回归问题， 在TensorFlow框架下实现。 tensorflow安装： Python -m pip install tensorflow （时间长，400MB以上） 示例程序采用了 4 层全连接层神经网络，中间两个隐层的节点数为 50，采用 relu 激活函数、MSE损失函数和 adam 优化算法。以每批 50 个样本进行训练 500 轮。 回归结果评价数据（图）： 与梯度提升树模型的回归结果对比：
最新发布
12-26
以下是基于 kc_house_data 数据集进行房价回归实验的详细步骤及实现： ### 1. 数据加载与初步数据分析 首先需要加载数据集，并进行初步的数据分析，了解数据的基本情况。 ```python import pandas as pd # 加载数据集 data = pd.read_csv('kc_house_data.csv') # 查看数据基本信息 print('数据基本信息：') data.info() # 查看数据集行数和列数 rows, columns = data.shape # 查看数据集行数和列数 if rows < 100 and columns < 10: # 短表数据（行数少于100且列数少于10）查看全量数据信息 print('数据全部内容信息：') print(data.to_csv(sep='\t', na_rep='nan')) else: # 长表数据查看数据前几行信息 print('数据前几行内容信息：') print(data.head().to_csv(sep='\t', na_rep='nan')) ``` ### 2. 划分测试集和训练集并标准化 使用 `train_test_split` 函数划分数据集，并使用 `StandardScaler` 进行数据标准化。 ```python from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 提取特征和目标变量 X = data.drop('price', axis=1) y = data['price'] # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 数据标准化 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) ``` ### 3. 建立多个回归模型 建立线性回归、决策树回归和随机森林回归模型。 ```python from sklearn.linear_model import LinearRegression from sklearn.tree import DecisionTreeRegressor from sklearn.ensemble import RandomForestRegressor # 线性回归模型 linear_model = LinearRegression() linear_model.fit(X_train_scaled, y_train) # 决策树回归模型 tree_model = DecisionTreeRegressor(random_state=42) tree_model.fit(X_train_scaled, y_train) # 随机森林回归模型 rf_model = RandomForestRegressor(random_state=42) rf_model.fit(X_train_scaled, y_train) ``` ### 4. 超参数调优 使用网格搜索对随机森林回归模型进行超参数调优。 ```python from sklearn.model_selection import GridSearchCV # 定义参数网格 param_grid = { 'n_estimators': [50, 100, 200], 'max_depth': [None, 10, 20, 30] } # 网格搜索 grid_search = GridSearchCV(RandomForestRegressor(random_state=42), param_grid, cv=5) grid_search.fit(X_train_scaled, y_train) # 最佳模型 best_rf_model = grid_search.best_estimator_ ``` ### 5. 特征选择 使用随机森林的特征重要性进行特征选择。 ```python import numpy as np # 获取特征重要性 importances = best_rf_model.feature_importances_ feature_names = X.columns # 选择重要特征 indices = np.argsort(importances)[::-1] top_features = feature_names[indices][:10] # 提取重要特征 X_train_top = X_train[top_features] X_test_top = X_test[top_features] # 数据标准化 scaler_top = StandardScaler() X_train_top_scaled = scaler_top.fit_transform(X_train_top) X_test_top_scaled = scaler_top.transform(X_test_top) ``` ### 6. 实现梯度提升树回归 使用 `GradientBoostingRegressor` 实现梯度提升树回归。 ```python from sklearn.ensemble import GradientBoostingRegressor # 梯度提升树回归模型 gb_model = GradientBoostingRegressor(random_state=42) gb_model.fit(X_train_top_scaled, y_train) ``` ### 7. 使用神经网络模型进行回归 使用 TensorFlow 构建简单的神经网络模型。 ```python import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense # 构建神经网络模型 model = Sequential([ Dense(64, activation='relu', input_shape=(X_train_top_scaled.shape[1],)), Dense(32, activation='relu'), Dense(1) ]) # 编译模型 model.compile(optimizer='adam', loss='mse') # 训练模型 model.fit(X_train_top_scaled, y_train, epochs=10, batch_size=32, validation_split=0.1) ``` ### 8. 模型评估与对比 使用均方误差（MSE）和决定系数（R²）对各模型进行评估和对比。 ```python from sklearn.metrics import mean_squared_error, r2_score # 定义模型列表 models = [linear_model, tree_model, best_rf_model, gb_model] model_names = ['Linear Regression', 'Decision Tree Regression', 'Random Forest Regression', 'Gradient Boosting Regression'] # 遍历模型列表 for model, name in zip(models, model_names): if name == 'Random Forest Regression': y_pred = model.predict(X_train_top_scaled) else: y_pred = model.predict(X_train_scaled) mse = mean_squared_error(y_train, y_pred) r2 = r2_score(y_train, y_pred) print(f'{name} - Train MSE: {mse}, Train R²: {r2}') # 神经网络模型评估 y_pred_nn = model.predict(X_train_top_scaled) mse_nn = mean_squared_error(y_train, y_pred_nn) r2_nn = r2_score(y_train, y_pred_nn) print(f'Neural Network Regression - Train MSE: {mse_nn}, Train R²: {r2_nn}') ``` ### 总结 通过以上步骤，完成了基于 kc_house_data 数据集的房价回归实验，包括数据处理、模型建立、调优、特征选择和不同模型对比。可以根据评估结果选择最优的模型进行房价预测。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值