使用stack集成模型的方法之一

sphinxrascal168

于 2021-03-23 17:23:07 发布

阅读量406

点赞数

CC 4.0 BY-SA版权

分类专栏：大幅度

本文链接：https://blog.youkuaiyun.com/sphinxrascal168/article/details/115132253

大幅度专栏收录该内容

41 篇文章

订阅专栏

本文介绍了如何使用LightGBM、决策树、Gradient Boosting和Logistic Regression进行集成学习，通过StackingCVClassifier实现高精度预测。作者详细展示了如何设置参数并应用到实际数据集上，最终评估了模型在准确性方面的表现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import sklearn
from lightgbm.sklearn import LGBMClassifier
clf = LGBMClassifier(num_leaves=90,max_depth=7,n_estimators=1000,learning_rate=0.1,bagging_fraction=0.9,bagging_freq=80,max_bin=250,min_data_in_leaf=31,feature_fraction=0.6)#frac就是选多少特征来训练
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.linear_model import LogisticRegression
from mlxtend.classifier import StackingCVClassifier
from sklearn.metrics import accuracy_score
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis

lda = LinearDiscriminantAnalysis(solver='svd')
treeclf = DecisionTreeClassifier()
gbdtclf = GradientBoostingClassifier(learning_rate=0.7)
lrclf = LogisticRegression()
scclf = StackingCVClassifier(classifiers=[clf, lda,treeclf, gbdtclf], meta_classifier=lrclf, cv=10)
scclf.fit(X_train, y_train)
scclf_pre = scclf.predict(X_test)
print('真实值：', y_test)
print('预测值：', scclf_pre)
print('准确度：', accuracy_score(scclf_pre, y_test))