机器学习-GridSearchCV自动调参,RF特征选择

随机森林(RandomForest,RF)网格搜索法调参 当你读到这篇博客,那么你肯定知道手动调参是多么的低效。那么现在我来整理一下近几日学习的笔记,和大家一起分享学习这个知识点。 阅读详情
  • 主要思想:通过GridSearchCV算法进行特征的自动化筛选
import numpy as np
import pandas as pd
from time import strftime
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import train_test_split
from sklearn.externals import joblib
from sklearn.metrics import classification_report
from sklearn.metrics import roc_curve
from sklearn.metrics import auc

def selectParam(clf,param,features=[]):
        """
        param:希望对模型进行调优的参数;
        feature:RF模型调参时默认对所有特征进行处理;LR模型调参时选择RF筛选留下的特征
        """
        grid_search = GridSearchCV(estimator = clf, param_grid=param, n_jobs=4,scoring='roc_auc',cv=5)
        x1 = np.asarray(self.x_train)
        if len(features) > 0:           
            x1 = np.asarray(self.x_train[features])
        y1 = np.asarray(self.y_train) 
        grid_search.fit(x1, y1) #传入训练集矩阵和训练样本类标
         # 输出best score
#        print("Best score of %s: %0.3f" % (clf,grid_search.best_score_))
#        print("Best parameters set of %s is:" %clf )
        # 输出最佳的分类器到底使用了怎样的参数
        best_parameters = grid_search.best_estimator_.get_params()

        return best_parameters


    def top_features(self):

        """
        step1:调整参数获得随机森林最优参数;
        step2: 通过最优参数建模并获得rf_model
        step3: 通过rf_model获得特征重要性
        返回值:特征及其重要性并其按重要性排序的输出
        """

        # 随机深林 特征重要性阈值
        threshold =0.005
        clf_RF = RandomForestClassifier(random_state=10)
        param_grid =[ {"max_depth": range(10,50,3),#一般数据量少或特征少时可以不考虑,否则常用的取值为10-100之间。
                      #"min_samples_split": [5, 10,15,20,25],#默认为2,数据量级特别大时可以用
                      #"min_samples_leaf": [5, 10,15,20,25],#默认1,当叶子节点样本数少于此值会被截肢
                      #"bootstrap": [True, False],
                      #"criterion": ["gini", "entropy"],
                      "n_estimators": range(10,50,3),
                      }
                      # "class_weight": [{0:1,1:13.24503311,2:1.315789474,3:12.42236025,4:8.163265306,5:31.25,6:4.77326969,7:19.41747573}],
                      # "max_features":如果样本特征数不多,比如小于50,用默认的"None",较多可采用log2、sqrt、auto,
                      # "warm_start": [True, False],
                      # "oob_score": [True, False],
                      # "verbose": [True, False]}
                    ]

        best_parameters = self.selectParam(clf_RF,param_grid)
        best_parameters.pop('random_state')    
        clf_RF_prior = RandomForestClassifier(random_state=10,**best_parameters)
        clf_RF_prior.fit(self.x_train,self.y_train)
        print("the best paramers of RF to choose features resulted in score : ", clf_RF_prior.score(self.x_test, self.y_test))

        feature_imp = pd.DataFrame([self.x_train.columns,clf_RF_prior.feature_importances_]).T
        feature_imp.columns = ['features','features_importance']
        feature_imp = feature_imp.sort_values(['features_importance'],ascending=False)

        feature_imp = feature_imp[feature_imp['features_importance']>threshold]

        return feature_imp

别再手动调参了!用GridSearchCV让你的模型性能飙升(附完整代码) 本文详细介绍了如何利用scikit-learn中的GridSearchCV工具实现机器学习模型的自动化超参数调优。通过结合网格搜索与交叉验证,该方法能系统性地遍历参数组合,高效找到最优配置,从而显著提升模型性能。文章以线性回归和树模型为例,提供了完整的实战代码和工程化调参策略,帮助开发者摆脱低效的手动调参。 阅读详情

相关推荐

随机森林调参指南:核心参数解析与工业实践

随机森林作为集成学习的经典算法,通过构建多棵决策树并综合其预测结果来提升模型性能。其核心优势在于通过特征和样本的随机性(max_features参数)实现天然的抗过拟合能力,同时保持较好的解释性。在工程实践中,合理调整n_estimators(树的数量)、max_depth(树深度)等关键参数,可使模型性能提升20%-30%。特别是在金融风控、医疗诊断等高价值场景中,配合GridSearchCV网格搜索或贝叶斯优化等自动化调参技术,能显著提升模型在准确率、召回率等关键指标的表现。本文深入解析了随机森林的调参

hideto 214

sklearn GridSearchCV网格搜索案例与代码

文章目录准备数据网格搜索参数评估结果全部代码 需要的包如下: import pandas as pd import numpy as np from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import GridSearchCV from sklearn.preprocessing import StandardScaler from sklearn.model_selection import

呆萌的代Ma 676

Python随机森林实战:从数据清洗到调参部署的完整流程

随机森林是一种基于Bagging集成思想的决策树组合模型,其核心在于样本随机采样(Bootstrap)与特征随机子集(max_features)双重随机性机制,从而在保持高准确率的同时显著提升泛化能力与鲁棒性。该模型天然支持非线性关系建模、对异常值和量纲不敏感,且无需复杂特征缩放,但实际工程中仍需谨慎处理类别不平衡、过拟合及数据泄露等关键问题。通过scikit-learn Pipeline可实现端到端可复现的预处理与建模流程,结合GridSearchCV或HalvingGridSearchCV进行系统性超参

485

python使用grid-search调参

博文参考:http://blog.youkuaiyun.com/abcjennifer/article/details/23884761目标就是解决:vectorizer取多少个word呢?预处理时候要过滤掉tf>max_df的words,max_df设多少呢?tfidftransformer只用tf还是加idf呢?classifier分类时迭代几次?学习率怎么设? ……..本文对随机梯度下降和svm(rbf

6丁儿的猫 1942

特征选择 | MATLAB实现RF(随机森林)特征选择

特征选择 | MATLAB实现RF(随机森林)特征选择 目录特征选择 | MATLAB实现RF(随机森林)特征选择基本介绍模型设定参考资料 基本介绍 随机森林能够度量每个特征的重要性,我们可以依据这个重要性指标进而选择最重要的特征。 一般情况下,数据集的特征成百上千,因此有必要从中选取对结果影响较大的特征来进行进一步建模,相关的方法有:主成分分析、lasso等,这里我们介绍的是通过随机森林来进行筛选。 用随机森林进行特征重要性评估的思想比较简单,主要是看每个特征在随机森林中的每棵树上做了多大的贡献,然后

机器学习之心的博客,关注并私信文章链接,获取对应文章源码和数据。 5449

第24步 机器学习分类实战:随机森林(RF)建模

随机森林(RF)建模

Jet4505的博客 2390

机器学习-R-特征选择

R中关于机器学习特征选择的总结

机器学习(Python,R, etc.) 1万+

谈谈 FOC和BLDC 电机控制

更具体地说,通过 “Park 变换”,我们可以把三相交流电流信号转换成两相直流电流信号,从而可以把三相交流电机的控制变得和两相直流电机控制一样简单。在内环 “电流环”中,一些比较重要的模块有 “Clark 变换” 和 “Park 变换” 等数学模块、电机电流信号检测模块以及能够提供电机的转速和转角位置信息的模块。日前,Qorvo 电机控制应用高级系统/应用工程师张绍发表了一个与 BLDC 和 FOC 相关的演讲,科普了 FOC 的相关知识,还讲解了 Qorvo 用于简化 FOC 实施方案的方法。

U_YAO的博客 2119

模型调参工具GridSearchCV

今天我们来讨论机器学习中一个非常重要的函数GridSearchCV,它是我们用来求解最佳参数组合的常用函数。例如:我们的随机森林算法有很多参数,如n_estimators,max_depth,min_samples_split等等,我们希望对比不同参数组合下的模型效果,来选出该模型的最佳参数。GridSearchCV可以自动对我们给定的参数进行组合,并得出每个组合的模型效果,通过比较其效果来选出最佳参数组合。 GridSearchCV API文档 sklearn.model_selection.Grid

taon1607的博客 633

Android BluetoothSocket

BluetoothSocket是Android中用于在蓝牙设备之间进行数据传输的一种Socket。它提供了一种类似于TCP/IP协议的数据传输方式,可以在两个设备之间建立一个虚拟的通信管道,使得两个设备之间可以进行数据的传输和接收。BluetoothSocket可以用于客户端和服务端之间的通信,通过BluetoothSocket可以实现数据的双向传输。

liuning1985622的博客 1478

树莓派驱动DLPDLCR230NPEVM+framebuffer显示图片

DLPDLCR230NPEVM DLP® LightCrafter™ Display 230NP 是一个易于使用的紧凑型即插即用评估平台,适用于消费类产品、工业、医疗和物联网 (IoT) 市场中的各种超便携显示应用。此评估模块 (EVM) 采用 DLP230NP 芯片组,该芯片组由DLP230NP.23 1080p DMD、DLPC3436显示控制器和DLPA2005PMIC/LED 驱动器组成。此 EVM 外形小巧,配备生产就绪型光学引擎以及支持 18 位 RGB 并行视频接口...

L_Y000的博客 2621

scikit-learn随机森林调参小结

sklearn学习笔记之开始 简介   自2007年发布以来,scikit-learn已经成为Python重要的机器学习库了。scikit-learn简称sklearn,支持包括分类、回归、降维和聚类四大机器学习算法。还包含了特征提取、数据处理和模型评估三大模块。   sklearn是Scipy的扩展,建立在NumPy和matplotlib库的基础上。利用这几大模块的优势,可以大大提高机器学习...

lusic01的专栏 2067

信号处理中的滤波器的阶数和谐波的理解

最近在读paper的时候,遇到了一些以前遗忘的问题,先重新查找,记录在这里,以备不时之查看。 我相信一定有小伙伴跟我有过一样的疑惑,那就是我们在使用滤波器的时候,总是遇到滤波器的阶数这个概念参数,我们很多都是根据别的paper里的设置,设置自己的科研参数,其实并不是很理解其中的含义: 其实我们常用的阶数N的意思是: 滤波器的阶数,就是指过滤谐波的次数,一般来讲,同样的滤波器,其阶

Miracle.Zhao的博客 2万+

【参数调优】网格搜索GridSearchCV输出调参各个结果cv_results_

cv_results_本身就是一个字典形式的输出,里面含有很多结果 param_test1 = {'n_estimators': range(10, 101, 10)} gssearch = GridSearchCV(RF, param_grid=param_test1, cv=5) print(cv_results_) 直接调用代码,运行结果如下: 大概分三类:时间(time)、参数(params)、得分(score) 如果要输出调参的各个结果,可以运行以下代码: means = gs.

maple05的博客 1万+

Python数据分析实战:用TIGRAMITE库5步搞定时间序列因果分析(附完整代码)

本文详细介绍了如何使用TIGRAMITE库进行时间序列因果分析,通过5个步骤从环境配置到模型优化,帮助读者掌握因果关系库的应用。附完整代码示例,适合数据分析师和研究人员快速实现复杂时间序列的因果发现。

weixin_29050271的博客 161

PCB制造工艺参数到AD规则设置

本文提供了PCB设计与制造的落地指南,强调需先了解PCB厂的工艺参数,再在Altium Designer中设置相应规则。核心步骤包括:获取PCB厂的关键工艺参数(线宽/线距、过孔尺寸等),在AD中设置电气规则、布线规则、阻焊规则等,并进行DRC检查。文章还给出了常见问题避坑建议和快速落地模板,帮助设计师确保设计符合生产要求,避免因工艺不匹配导致的报废或成本增加。

qq_37999850的博客 294

ML之FE:基于LiR/Ridge/Lasso/ElasticNet/AvgModels/RF算法(GSCV) 利用某市房价数据集(特征工程处理)进行房价回归预测

ML之FE:基于LiR/Ridge/Lasso/ElasticNet/AvgModels/RF算法(GSCV) 利用某市房价数据集(特征工程处理)进行房价回归预测 目录 输出结果 设计思路 核心代码 输出结果 1、输出基本信息 bj_data.info(): Int64Index: 48324 entries, 418...

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 6172

华为OD机试真题 新系统 9月20号 【字符串分组求和】

华为OD新系统机试真题【字符串分组求和】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题【字符串分组求和】解析。

qq_45776114的博客 639

机器学习系列 - 随机森林(RF)

先记录一下使用方法,哇我真的吹爆scikit-learn这个库,之前想做pca分析,手动代码实现,用了一上午去复习方差协方差矩阵各种线代知识,然后发现scikit-learn直接提供了方法,好吧,对于小白来说总要多走走路才好,理解一下实现原理也不错,但是不妨碍scikit-learn这个是真的好用啊,什么都提供了,机器学习首选!! scikit-learn中和随机森林算法相关的类为RangeFor...

本然233的博客 1149

【2026最新版】Open3D(C++)点云处理算法汇总(C++长期更新版)

C++版本Open3D进行点云处理的一些算法使用案例。博客长期更新,最近一次更新时间为:2026年4月11日。

点云侠的博客 1万+

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

机器学习-RF预测

本文使用机器学习RF对数据进行预测。仅供参考

ZSC001127的博客 471

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

GridSearchCV超参数调优实战:从原理到工程落地

超参数调优是机器学习模型落地的关键环节,其本质是通过系统化搜索策略,在有限计算资源下定位泛化性能最优的参数组合。核心原理基于交叉验证的统计稳健性评估,避免单次验证带来的过拟合风险与结果偏差。技术价值在于将经验驱动的手动试错,升级为可复现、可量化、可解释的工程实践,显著提升模型稳定性与部署可靠性。典型应用场景涵盖金融风控AUC优化、工业故障预测鲁棒性调优、医疗影像分类精度-解释性平衡等。本文聚焦scikit-learn中GridSearchCV与RandomizedSearchCV的底层机制、参数空间设计、加

weixin_34417200的博客 377

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

GridSearchCV实战指南:从参数迷宫到工业级调优

网格搜索(GridSearchCV)是机器学习模型超参数优化的基础技术,其本质是通过系统性穷举与交叉验证,构建可复现的模型性能评估闭环。核心原理在于将经验驱动的调参过程转化为结构化决策:先识别偏差-方差失衡等真实问题,再基于参数敏感性进行维度降维,最后依托多折稳定性与业务指标对齐完成验证闭环。该技术广泛应用于回归预测、分类建模与风控系统等工业场景,尤其在scikit-learn生态中,结合StandardScaler、Pipeline和joblib序列化,可支撑从实验验证到生产部署的端到端流程。本文聚焦Gr

weixin_34037173的博客 567

sklearn_随机森林(RF)

参考:菜菜的sklearn课堂 文章目录1 概述1.1 集成算法概述1.2 sklearn中的集成算法2 随机森林分类器 RandomForestClassifier2.1 参数2.2 重要参数2.2.1 控制基评估器的参数2.2.2 n_estimators2.2.3 random_state2.2.4 bootstrap & oob_score2.2.5 重要属性和接口3 RandomForestRegressor3.1 随机森林回归应用—填补缺失值(1)使用均值进行填补(2)使用 0 进行

积一时之步,臻千里之遥程 5493

python机器学习相关的操作 numpy,GridSearchCV(网格搜索)等

视频讲解 numpy 简单入门 import numpy as np # genfromtxt是一种导入数据的方式,数据加载的时候能够处理丢失数据 data = np.genfromtxt("./data/spam.data",delimiter=" ") # numpy的切片操作!!! # 取行 # numpy的切片操作根普x通的列表不同,例如data[0,1]取的是第0行,1列的数据 # 而data[0:2:1]表示从第0行取到第1行,间隔为1 # data[[1,3,5]] 取 1 3 5 索引行 #

weixin_46507345的博客 907
上一篇: Python-文件操作
下一篇: 逻辑回归(logistics regression)算法及实例
RuDing
博客等级 码龄9年 19粉丝 7原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值