机器学习-GridSearchCV自动调参,RF特征选择

随机森林(RandomForest,RF)网格搜索法调参 当你读到这篇博客,那么你肯定知道手动调参是多么的低效。那么现在我来整理一下近几日学习的笔记,和大家一起分享学习这个知识点。 阅读详情
  • 主要思想:通过GridSearchCV算法进行特征的自动化筛选
import numpy as np
import pandas as pd
from time import strftime
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import train_test_split
from sklearn.externals import joblib
from sklearn.metrics import classification_report
from sklearn.metrics import roc_curve
from sklearn.metrics import auc

def selectParam(clf,param,features=[]):
        """
        param:希望对模型进行调优的参数;
        feature:RF模型调参时默认对所有特征进行处理;LR模型调参时选择RF筛选留下的特征
        """
        grid_search = GridSearchCV(estimator = clf, param_grid=param, n_jobs=4,scoring='roc_auc',cv=5)
        x1 = np.asarray(self.x_train)
        if len(features) > 0:           
            x1 = np.asarray(self.x_train[features])
        y1 = np.asarray(self.y_train) 
        grid_search.fit(x1, y1) #传入训练集矩阵和训练样本类标
         # 输出best score
#        print("Best score of %s: %0.3f" % (clf,grid_search.best_score_))
#        print("Best parameters set of %s is:" %clf )
        # 输出最佳的分类器到底使用了怎样的参数
        best_parameters = grid_search.best_estimator_.get_params()

        return best_parameters


    def top_features(self):

        """
        step1:调整参数获得随机森林最优参数;
        step2: 通过最优参数建模并获得rf_model
        step3: 通过rf_model获得特征重要性
        返回值:特征及其重要性并其按重要性排序的输出
        """

        # 随机深林 特征重要性阈值
        threshold =0.005
        clf_RF = RandomForestClassifier(random_state=10)
        param_grid =[ {"max_depth": range(10,50,3),#一般数据量少或特征少时可以不考虑,否则常用的取值为10-100之间。
                      #"min_samples_split": [5, 10,15,20,25],#默认为2,数据量级特别大时可以用
                      #"min_samples_leaf": [5, 10,15,20,25],#默认1,当叶子节点样本数少于此值会被截肢
                      #"bootstrap": [True, False],
                      #"criterion": ["gini", "entropy"],
                      "n_estimators": range(10,50,3),
                      }
                      # "class_weight": [{0:1,1:13.24503311,2:1.315789474,3:12.42236025,4:8.163265306,5:31.25,6:4.77326969,7:19.41747573}],
                      # "max_features":如果样本特征数不多,比如小于50,用默认的"None",较多可采用log2、sqrt、auto,
                      # "warm_start": [True, False],
                      # "oob_score": [True, False],
                      # "verbose": [True, False]}
                    ]

        best_parameters = self.selectParam(clf_RF,param_grid)
        best_parameters.pop('random_state')    
        clf_RF_prior = RandomForestClassifier(random_state=10,**best_parameters)
        clf_RF_prior.fit(self.x_train,self.y_train)
        print("the best paramers of RF to choose features resulted in score : ", clf_RF_prior.score(self.x_test, self.y_test))

        feature_imp = pd.DataFrame([self.x_train.columns,clf_RF_prior.feature_importances_]).T
        feature_imp.columns = ['features','features_importance']
        feature_imp = feature_imp.sort_values(['features_importance'],ascending=False)

        feature_imp = feature_imp[feature_imp['features_importance']>threshold]

        return feature_imp

别再手动调参了!用GridSearchCV让你的模型性能飙升(附完整代码) 本文详细介绍了如何利用scikit-learn中的GridSearchCV工具实现机器学习模型的自动化超参数调优。通过结合网格搜索与交叉验证,该方法能系统性地遍历参数组合,高效找到最优配置,从而显著提升模型性能。文章以线性回归和树模型为例,提供了完整的实战代码和工程化调参策略,帮助开发者摆脱低效的手动调参。 阅读详情

相关推荐

随机森林调参指南:核心参数解析与工业实践

随机森林作为集成学习的经典算法,通过构建多棵决策树并综合其预测结果来提升模型性能。其核心优势在于通过特征和样本的随机性(max_features参数)实现天然的抗过拟合能力,同时保持较好的解释性。在工程实践中,合理调整n_estimators(树的数量)、max_depth(树深度)等关键参数,可使模型性能提升20%-30%。特别是在金融风控、医疗诊断等高价值场景中,配合GridSearchCV网格搜索或贝叶斯优化等自动化调参技术,能显著提升模型在准确率、召回率等关键指标的表现。本文深入解析了随机森林的调参

hideto 214

sklearn GridSearchCV网格搜索案例与代码

文章目录准备数据网格搜索参数评估结果全部代码 需要的包如下: import pandas as pd import numpy as np from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import GridSearchCV from sklearn.preprocessing import StandardScaler from sklearn.model_selection import

呆萌的代Ma 676

Python随机森林实战:从数据清洗到调参部署的完整流程

随机森林是一种基于Bagging集成思想的决策树组合模型,其核心在于样本随机采样(Bootstrap)与特征随机子集(max_features)双重随机性机制,从而在保持高准确率的同时显著提升泛化能力与鲁棒性。该模型天然支持非线性关系建模、对异常值和量纲不敏感,且无需复杂特征缩放,但实际工程中仍需谨慎处理类别不平衡、过拟合及数据泄露等关键问题。通过scikit-learn Pipeline可实现端到端可复现的预处理与建模流程,结合GridSearchCV或HalvingGridSearchCV进行系统性超参

485

python使用grid-search调参

博文参考:http://blog.youkuaiyun.com/abcjennifer/article/details/23884761目标就是解决:vectorizer取多少个word呢?预处理时候要过滤掉tf>max_df的words,max_df设多少呢?tfidftransformer只用tf还是加idf呢?classifier分类时迭代几次?学习率怎么设? ……..本文对随机梯度下降和svm(rbf

6丁儿的猫 1942

特征选择 | MATLAB实现RF(随机森林)特征选择

特征选择 | MATLAB实现RF(随机森林)特征选择 目录特征选择 | MATLAB实现RF(随机森林)特征选择基本介绍模型设定参考资料 基本介绍 随机森林能够度量每个特征的重要性,我们可以依据这个重要性指标进而选择最重要的特征。 一般情况下,数据集的特征成百上千,因此有必要从中选取对结果影响较大的特征来进行进一步建模,相关的方法有:主成分分析、lasso等,这里我们介绍的是通过随机森林来进行筛选。 用随机森林进行特征重要性评估的思想比较简单,主要是看每个特征在随机森林中的每棵树上做了多大的贡献,然后

机器学习之心的博客,关注并私信文章链接,获取对应文章源码和数据。 5449

第24步 机器学习分类实战:随机森林(RF)建模

随机森林(RF)建模

Jet4505的博客 2390

机器学习-R-特征选择

R中关于机器学习特征选择的总结

机器学习(Python,R, etc.) 1万+

Spring Authorization Server实战:从零搭建OAuth2.1授权中心(含数据库改造)

本文详细介绍了如何从零开始使用Spring Authorization Server搭建符合OAuth2.1规范的授权中心,并完成关键的数据库持久化改造。内容涵盖微服务架构下的统一认证需求、基础配置、数据库表设计、高级特性(如令牌自定义、性能优化)以及与现有系统(如SSO、Gateway网关)的集成实战,为构建生产级授权服务提供完整指南。

weixin_29315091的博客 256

模型调参工具GridSearchCV

今天我们来讨论机器学习中一个非常重要的函数GridSearchCV,它是我们用来求解最佳参数组合的常用函数。例如:我们的随机森林算法有很多参数,如n_estimators,max_depth,min_samples_split等等,我们希望对比不同参数组合下的模型效果,来选出该模型的最佳参数。GridSearchCV可以自动对我们给定的参数进行组合,并得出每个组合的模型效果,通过比较其效果来选出最佳参数组合。 GridSearchCV API文档 sklearn.model_selection.Grid

taon1607的博客 633

用Matlab系统辨识工具箱搞定温控系统建模:从阶跃响应到传递函数(附完整代码)

本文详细介绍了如何使用Matlab系统辨识工具箱进行温控系统建模,从阶跃响应数据采集到传递函数参数辨识的全过程。通过实际案例和完整代码,帮助工程师快速掌握PID控制参数整定技巧,提升温控系统设计效率。特别适合单片机开发者和自动化控制工程师参考。

weixin_30736301的博客 311

利用WI生成无线信道数据

选取DeepMIMO的一个射线追踪场景O1(Outdoor 1)Scenario,工作频率为3.5GHz。有两条街和一个十字路口的户外场景18个基站和超过一百万个用户18个基站(BSs):BS1-BS18.每个基站的高度是8米每个基站的天线阵列是isotropic天线三个统一的x-y用户网格用户的总计数量为:1184923每个用户网格中的第一个用户总是(x,y)坐标最低的用户 所有用户的高度是2m每个用户的每个天线阵列是isotropic天线定义射频追踪场景。

bingbingaidaima的博客 5611

scikit-learn随机森林调参小结

sklearn学习笔记之开始 简介   自2007年发布以来,scikit-learn已经成为Python重要的机器学习库了。scikit-learn简称sklearn,支持包括分类、回归、降维和聚类四大机器学习算法。还包含了特征提取、数据处理和模型评估三大模块。   sklearn是Scipy的扩展,建立在NumPy和matplotlib库的基础上。利用这几大模块的优势,可以大大提高机器学习...

lusic01的专栏 2067

信号处理领域的研究生看过来:手把手教你搞定ICASSP 2025论文投稿(附Latex模板与格式检查清单)

本文为信号处理领域研究生提供ICASSP 2025论文投稿的详细指南,涵盖Latex模板使用、格式检查清单及投稿流程。特别针对IEEE旗舰会议的严格要求和2025年可能出现的新变化,提供预判性建议和实战技巧,帮助作者高效完成论文投稿。

程涛 562

【参数调优】网格搜索GridSearchCV输出调参各个结果cv_results_

cv_results_本身就是一个字典形式的输出,里面含有很多结果 param_test1 = {'n_estimators': range(10, 101, 10)} gssearch = GridSearchCV(RF, param_grid=param_test1, cv=5) print(cv_results_) 直接调用代码,运行结果如下: 大概分三类:时间(time)、参数(params)、得分(score) 如果要输出调参的各个结果,可以运行以下代码: means = gs.

maple05的博客 1万+

Open3D 从体素网格构建八叉树【2025最新版】

从体素网格构建八叉树,博客长期更新,本文最近更新时间为:2025年1月1日。

点云侠的博客 34万+

2、微软 Power Automate 入门指南

本文是一篇关于微软 Power Automate 的入门指南,详细介绍了 Power Automate 的基本概念、相关术语、登录方式以及如何创建一个简单的自动化流。文章还探讨了 Power Automate 在业务流程中的应用场景和优势,并展望了其高级功能和未来发展。适合希望快速入门 Power Automate 并提升业务自动化效率的读者。

corn8的博客 442

ML之FE:基于LiR/Ridge/Lasso/ElasticNet/AvgModels/RF算法(GSCV) 利用某市房价数据集(特征工程处理)进行房价回归预测

ML之FE:基于LiR/Ridge/Lasso/ElasticNet/AvgModels/RF算法(GSCV) 利用某市房价数据集(特征工程处理)进行房价回归预测 目录 输出结果 设计思路 核心代码 输出结果 1、输出基本信息 bj_data.info(): Int64Index: 48324 entries, 418...

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 6172

(持续更新中!)详解【计算机类&面试真题】军队文职考试 ——第一期(真题+解析)| TCP、UDP的区别;程序局部性;ICMP协议及主要功能;重定位所需的计算机硬件

在当今信息化时代,军队中对于计算机专业人才的需求与日俱增。因此,了解面试和复试中常见的问题和要求对于准备应聘者来说至关重要。本文将围绕面试的准备要点、常见问题以及面试技巧进行探讨,并提供一些建议和经验。通过了解面试和复试的准备要点、常见问题以及技巧,读者将能够提升应对能力和成功率。本文为准备军队文职面试和计划考研复试的读者提供了有价值的参考和指导。通过阅读本篇博客,读者将能够获得关于军队文职计算机类面试和计算机考研复试的全面了解,提升自身的应对能力和成功率。

追光者♂:记录、分享、总结、提升,现象级专栏《Python从入门到人工智能》作者,无惧黑暗,坚信曙光 1690

机器学习系列 - 随机森林(RF)

先记录一下使用方法,哇我真的吹爆scikit-learn这个库,之前想做pca分析,手动代码实现,用了一上午去复习方差协方差矩阵各种线代知识,然后发现scikit-learn直接提供了方法,好吧,对于小白来说总要多走走路才好,理解一下实现原理也不错,但是不妨碍scikit-learn这个是真的好用啊,什么都提供了,机器学习首选!! scikit-learn中和随机森林算法相关的类为RangeFor...

本然233的博客 1149

34、高效探索柔性蛋白质环构象空间的算法

本文介绍了一种高效探索柔性蛋白质环构象空间的算法,通过种子采样和变形采样两种技术,同时满足运动学闭合和避免空间位阻冲突的约束条件。种子采样能够在闭合无冲突构象空间中广泛生成构象,而变形采样则可以对“有趣”区域进行更密集的探索。实验结果表明,这两种方法在不同大小和受限程度的蛋白质环上均表现出色,运行时间在可接受范围内。相关算法已集成到工具包LoopTK中,可在https://simtk.org/home/looptk获取。

moon9的博客 128

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

机器学习-RF预测

本文使用机器学习RF对数据进行预测。仅供参考

ZSC001127的博客 471

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

GridSearchCV超参数调优实战:从原理到工程落地

超参数调优是机器学习模型落地的关键环节,其本质是通过系统化搜索策略,在有限计算资源下定位泛化性能最优的参数组合。核心原理基于交叉验证的统计稳健性评估,避免单次验证带来的过拟合风险与结果偏差。技术价值在于将经验驱动的手动试错,升级为可复现、可量化、可解释的工程实践,显著提升模型稳定性与部署可靠性。典型应用场景涵盖金融风控AUC优化、工业故障预测鲁棒性调优、医疗影像分类精度-解释性平衡等。本文聚焦scikit-learn中GridSearchCV与RandomizedSearchCV的底层机制、参数空间设计、加

weixin_34417200的博客 377

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

GridSearchCV实战指南:从参数迷宫到工业级调优

网格搜索(GridSearchCV)是机器学习模型超参数优化的基础技术,其本质是通过系统性穷举与交叉验证,构建可复现的模型性能评估闭环。核心原理在于将经验驱动的调参过程转化为结构化决策:先识别偏差-方差失衡等真实问题,再基于参数敏感性进行维度降维,最后依托多折稳定性与业务指标对齐完成验证闭环。该技术广泛应用于回归预测、分类建模与风控系统等工业场景,尤其在scikit-learn生态中,结合StandardScaler、Pipeline和joblib序列化,可支撑从实验验证到生产部署的端到端流程。本文聚焦Gr

weixin_34037173的博客 567

sklearn_随机森林(RF)

参考:菜菜的sklearn课堂 文章目录1 概述1.1 集成算法概述1.2 sklearn中的集成算法2 随机森林分类器 RandomForestClassifier2.1 参数2.2 重要参数2.2.1 控制基评估器的参数2.2.2 n_estimators2.2.3 random_state2.2.4 bootstrap & oob_score2.2.5 重要属性和接口3 RandomForestRegressor3.1 随机森林回归应用—填补缺失值(1)使用均值进行填补(2)使用 0 进行

积一时之步,臻千里之遥程 5493

python机器学习相关的操作 numpy,GridSearchCV(网格搜索)等

视频讲解 numpy 简单入门 import numpy as np # genfromtxt是一种导入数据的方式,数据加载的时候能够处理丢失数据 data = np.genfromtxt("./data/spam.data",delimiter=" ") # numpy的切片操作!!! # 取行 # numpy的切片操作根普x通的列表不同,例如data[0,1]取的是第0行,1列的数据 # 而data[0:2:1]表示从第0行取到第1行,间隔为1 # data[[1,3,5]] 取 1 3 5 索引行 #

weixin_46507345的博客 907
上一篇: Python-文件操作
下一篇: 逻辑回归(logistics regression)算法及实例
RuDing
博客等级 码龄9年 19粉丝 7原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值