模型融合

最新推荐文章于 2025-03-20 17:05:28 发布

G_瑞琴

最新推荐文章于 2025-03-20 17:05:28 发布

阅读量582

点赞数

文章标签：大数据

本文链接：https://blog.youkuaiyun.com/weixin_50197893/article/details/108856680

版权

本文探讨了模型融合在大数据领域的应用，包括平均法、投票法、stacking和blending等策略。平均法分为简单平均和加权平均，依据模型性能给予不同权重。投票法分为简单投票。stacking通过基学习器的预测结果训练新学习器，而blending则将预测值作为新特征，防止过拟合。虽然stacking效果显著，但实施起来较慢且资源消耗大，需谨慎使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Task 5 模型融合

模型融合后可能会有意想不到的效果，往往模型相差越大且模型表现都不错的前提下，模型融合后结果会有大幅提升，以下是模型融合的方式：

平均：简单平均法和加权平均法
投票：简单投票法和加权投票法
综合：排序融合和log融合
stacking
blending
boosting/bagging

5.1 平均法

简单加权平均，结果直接融合
求多个预测结果的平均值。pre1-pren分别是n组模型预测出来的结果，将其进行加权融

pre = (pre1 + pre2 + pre3 +...+pren )/n

加权平均法
一般根据之前预测模型的准确率，进行加权融合，将准确性高的模型赋予更高的权重。

pre = 0.3pre1 + 0.3pre2 + 0.4pre3

5.2 投票

简单投票

from xgboost import XGBClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier, VotingClassifier
clf1 = LogisticRegression(random_state=1)
clf2 = RandomForestClassifier(random_state=1)
clf3 = XGBClassifier(learning_rate=0.1, n_estimators=150, max_depth=4, min_child_weight=2, subsample=0.7,objective='binary:logistic')
 
vclf = VotingClassifier(estimators=[('lr', clf1), ('rf', clf2), ('xgb', clf3)])
vclf = vclf .fit(x_train,y_train)
print(vclf .predict(x_test))

- 加权投票
在VotingClassifier中加入参数 voting='soft', weights=[2, 1, 1]，weights用于调节基模型的权重

from xgboost import XGBClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier, VotingClassifier
clf1 = LogisticRegression(random_state=

最低0.47元/天解锁文章