使用stack集成模型的方法之一

本文介绍了如何使用LightGBM、决策树、Gradient Boosting和Logistic Regression进行集成学习,通过StackingCVClassifier实现高精度预测。作者详细展示了如何设置参数并应用到实际数据集上,最终评估了模型在准确性方面的表现。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

import sklearn
from lightgbm.sklearn import LGBMClassifier
clf = LGBMClassifier(num_leaves=90,max_depth=7,n_estimators=1000,learning_rate=0.1,bagging_fraction=0.9,bagging_freq=80,max_bin=250,min_data_in_leaf=31,feature_fraction=0.6)#frac就是选多少特征来训练
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.linear_model import LogisticRegression
from mlxtend.classifier import StackingCVClassifier
from sklearn.metrics import accuracy_score
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis

lda = LinearDiscriminantAnalysis(solver='svd')
treeclf = DecisionTreeClassifier()
gbdtclf = GradientBoostingClassifier(learning_rate=0.7)
lrclf = LogisticRegression()
scclf = StackingCVClassifier(classifiers=[clf, lda,treeclf, gbdtclf], meta_classifier=lrclf, cv=10)
scclf.fit(X_train, y_train)
scclf_pre = scclf.predict(X_test)
print('真实值:', y_test)
print('预测值:', scclf_pre)
print('准确度:', accuracy_score(scclf_pre, y_test))

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值