随机森林调参示例

本文详细记录了随机森林、逻辑回归和XGBoost的调参过程。对于随机森林,逐步调整了n_estimators、min_samples_split、min_samples_leaf和max_features;在逻辑回归中关注了正则化参数、优化算法和类型权重;XGBoost调参涉及General Parameters、Booster Parameters和Learning Task Parameters,如eta、min_child_weight、max_depth等。调参策略包括格点搜索和验证曲线,以找到最佳模型参数。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言:特意写在前面,在调参的过程中,一定不要一次调整多个参数,理论是是可以,但那样不仅耗时,而且不好细微的调参,我就以我用随机森林的例子为例,我一次性调整了4个参数,大概花费了我差不多4个小时的时间,所以我自己的经验就是参数最好一个一个调整,当然如果你的机器性能很好,完全可以忽略这点。

其次,在调参的过程中,除了使用常见的格点搜索,利用验证曲线validation_curve来形象化的展示每个结果的好坏,这样 便于你细调。


随森林参数记录

  • 1、先用默认参数看预测结果
  • 2、然后用gridsearchcv探索n_estimators的最佳值
  • 3、然后确定n_estimators,据此再搜索另外两个参数:再对内部节点再划分所需最小样本数min_samples_split和叶子节点最少样本数min_samples_leaf一起调参 
    param_test3= {‘min_samples_split’:range(80,150,20), ‘min_samples_leaf’:range(10,60,10)}
  • 4、最后我们再对最大特征数max_features做调参: param_test4= {‘max_features’:range(3,11,2)}
  • 5、最后用得到的参数再次带入模型,得到结果。

                
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

且行且安~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值