(四)模型融合方法总结

模型融合方式综述 1.Voting 2.Avaging 3.Bagging 阅读详情

模型融合:对调参完成的模型进行融合,一般在整个过程的后期进行,基于多个比较好的模型,融合后才有好的效果。

方法:

  1. 简单加权融合:

    回归(分类概率):
    算术平均融合(Arithmetic mean),几何平均融合(Geometric mean);权重的差异不要太大

    分类模型:
    投票(Voting),分为硬投票和软投票,原理是少数服从多数。硬投票:对多个模型直接进行投票,不区分模型结果的相对重要度,最终投票数最多的类为最终被预测的类。软投票:增加了设置权重的功能,可以为不同模型设置不同权重,进而区别模型不同的重要度

    综合:
    排序融合(Rank averaging),log融合

  2. Stacking/Blending:
    构建多层模型,并利用预测结果再拟合预测。
    先学习一个初级的模型,然后用初级的模型训练次级的模型,从而得到完整的stacking模型。
    为了防止过拟合,通常次级的模型尽量选择简单的线性模型

  3. boosting/bagging(在xgboost,Adaboost,GBDT中已经用到):
    多树的提升方法

不同的方法需要多尝试才知道结果,有时简单融合不容易过拟合。

示例:
继续之前的(二)特征工程之后,
构建XGBoost、LightGBM、GBDT三个模型,

def build_model_gbdt(x_train,y_train):
    estimator =GradientBoostingRegressor(loss='ls',subsample= 0.85,max_depth= 5,n_estimators = 100)
    param_grid = {
    'learning_rate': [0.05,0.08,0.1,0.2],
    }
    gbdt = GridSearchCV(estimator, param_grid,cv=3)
    gbdt.fit(x_train,y_train)
    print(gbdt.best_params_)
    # print(gbdt.best_estimator_ )
    return gbdt

def build_model_xgb(x_train,y_train):
    model = xgb.XGBRegressor(n_estimators=120, learning_rate=0.08, gamma=0, subsample=0.8,\
    colsample_bytree=0.9, max_depth=5) #, objective ='reg:squarederror'
    model.fit(x_train, y_train)
    return model

def build_model_lgb(x_train,y_train):
    estimator = lgb.LGBMRegressor(num_leaves=63,n_estimators = 100)
    param_grid = {
    'learning_rate': [0.01, 0.05, 0.1],
    }
    gbm = GridSearchCV(estimator, param_grid)
    gbm.fit(x_train, y_train)
    return gbm

model_xgb = build_model_xgb(train_X,train_y)
model_lgb = build_model_lgb(train_X,train_y)
model_gbdt = build_model_gbdt(train_X,train_y)

分别用3个模型做预测

print('Predict xgb...')
train_xgb_pred = model_xgb.predict(train_X)
subA_xgb = model_xgb.predict(Test_data)

print('Predict lgb...')
train_lgb_pred = model_lgb.predict(train_X)
subA_lgb = model_lgb.predict(Test_data)

print('Predict GBDT...')
train_gbdt_pred = model_gbdt.predict(train_X)
subA_gbdt = model_gbdt.predict(Test_data)

用Stacking方法做模型融合

Strak_X_train = pd.DataFrame()
Strak_X_train['Method_1'] = train_lgb_pred
Strak_X_train['Method_2'] = train_xgb_pred
Strak_X_train['Method_3'] = train_gbdt_pred

Strak_X_test = pd.DataFrame()
Strak_X_test['Method_1'] = subA_lgb
Strak_X_test['Method_2'] = subA_xgb
Strak_X_test['Method_3'] = subA_gbdt

## 次级的模型,用LR模型
def build_model_lr(x_train,y_train):
    reg_model = linear_model.LinearRegression()
    reg_model.fit(x_train,y_train)
    return reg_model
model_lr_Stacking = build_model_lr(Strak_X_train,train_y)
## 训练集
train_pre_Stacking = model_lr_Stacking.predict(Strak_X_train)
print('MAE of Stacking-LR:',mean_absolute_error(train_y,train_pre_Stacking))
## 测试集
print('Predict Stacking-LR...')
subA_Stacking = model_lr_Stacking.predict(Strak_X_test)
推荐算法的多模型融合 目录 1)线性加权融合法 2)交叉融合法(blending) 3)瀑布融合法 4)特征融合法 5)预测融合法 6)分类器 Boosting 思想 多模型融合算法可以比单一模型算法有极为明显的效果提升。但是怎样进行有效的融合,充分发挥各个算法的长处呢,这里总结一些常见的融合方法: 1)线性加权融合法 线性加权是最简单易用的融合算法,工程实现非常方便,只需要汇总单一模型的结果,然后... 阅读详情

相关推荐

模型融合方法总结

1.简单平均 即各模型结果的均值 2.加权平均 各模型结果*权值再求和,其中权值通过交叉验证确定,权值之和为1 3.sigmoid平均 适合模型结果差异比较小的情况 4.bagging 从特征,参数,样本的多样性差异性来做多模型融合,参考随机森林 5.blending 首先将训练集分为两部分(D1和D2),一部分用于第一层(level 1)的训练,另一部分用于第二层(...

junxinwoxin的博客 7081

模型融合

目录一、 融合框架1、 bagging 融合框架2、 boosting 融合框架3、 bagging 和 boosting 的区别二、Adaboost 算法基本原理 一、 融合框架 1、 bagging 融合框架 2、 boosting 融合框架 3、 bagging 和 boosting 的区别 Bagging 融合是一种并行方法(同时并行处理K个子模型),而Boosting融合是一种迭代的方法...

m0_37468171的博客 4402

深度学习技巧应用4-模型融合:投票法、加权平均法、集成模型法

为了得到集成模型的预测结果,你可以采用堆叠法,即把三个模型的预测结果作为输入特征,再训练一个新的模型进行预测。你可以根据每一个模型的表现,为它们分配一定的权重,然后根据这些权重,对它们输出的结果进行加权平均,从而得到更加精确的预测结果。深度学习中的模型融合技术,也叫做集成学习,是指同时使用多个模型来进行预测或分类,将它们的结果结合起来,从而获得更准确、更鲁棒的结果。在深度学习中,常常会使用不同类型的模型,如 CNN、 RNN 、 LSTM 等,将它们进行集成,综合利用不同模型的优点,进一步提高系统的性能。

微学AI的博客 7313

【keras】深度学习多输入模型融合

最近想将多个模型训练不同特征,想看看是否能提高训练准确率,想要多模型融合,建议构建模型的方式用函数式 API的形式进行构建,即使用keras的Model() . 我的数据集形式是这样的:一行代表一个样本,每个样本有4个特征,每个特征包含6000个数据,这样就是每行有24000个数据,其中0到5999是特征一的数据,6000到11999是特征二的数据,12000到17999是特征三的数据,18000...

weixin_43790560的博客 1万+

四网融合下的智慧城轨:广州地铁多制式协同与互联互通实践

城市轨道交通发展至网络化阶段,多制式并存已成为大型都市圈的普遍挑战。国铁、城际、市域快线与地铁在信号制式、票务清分及调度权限上的差异,形成互联互通的核心壁垒。解决这些问题的关键在于构建统一智慧平台,将感知、诊断、调度与乘客服务纳入同一业务操作系统,实现跨制式的协同运营。这种技术路径不仅支撑运能精准投放与设备健康管理,还为区域轨道一体化提供可复用的清分规则与兼容性测试方法。广州地铁依托“1+6”智慧轨交体系,在四网融合场景下探索出一套从规划到落地的工程实践,为多网融合背景下的智慧城轨建设提供了参考样本。

weixin_29194693的博客 243

《寻秦OL》.ani动画逆向解析:二进制结构与Unity重实现

动画文件格式是游戏资源逆向的核心入口,其本质是一组按特定规则组织的二进制数据流。理解魔数识别、字节序、字段对齐与差分编码等底层原理,是解析非标准格式的关键前提。技术价值在于绕过黑盒协议,直接从静态客户端提取可验证的原始语义;典型应用场景包括老游戏复刻、美术资产抢救、引擎跨平台迁移及教学级逆向训练。本文以《寻秦OL》的`.ani`文件为实例,深入剖析其C风格结构布局、GB2312中文命名、16位定点数旋转表示及帧主序差分存储机制,并基于C#在Unity中完成从字节流到AnimationClip的端到端重建,覆

weixin_30368981的博客 643

企业级知识图谱与大语言模型融合实现指南

本文深入探讨了企业级知识图谱(KG)与大语言模型(LLM)的融合实现方法。知识图谱通过语义连接数据集,而大语言模型使用向量和深度神经网络预测自然语言。两者结合可以克服各自的局限性:大语言模型的黑盒特性和事实知识缺陷,正是知识图谱的优势所在。文章详细介绍了RAG、提示到查询转换、微调等主要集成方法,为企业实现更准确、可解释的AI应用提供了实用指导。

m0_59235945的博客 1195

UG/NX二次开发实战:用Python脚本批量更新100个零件参数,解放你的双手

本文详细介绍了如何利用NXOpen Python API进行UG/NX二次开发,实现批量更新100个零件参数的自动化流程。通过环境配置、框架设计、核心代码实现及性能优化,帮助工程师高效完成参数化设计任务,显著提升工作效率。

weixin_28694169的博客 277

终极RVC模型融合指南:3步打造你的专属AI音色

你是否曾经想过,如果能把两位歌手的声音完美融合,创造出全新的音色会怎样?或者想要修复一个AI语音模型的缺陷,让它发音更清晰、情感更丰富?今天我要向你介绍的Retrieval-based-Voice-Conversion-WebUI(RVC WebUI)就能帮你实现这个梦想!这个基于VITS的强大变声框架,最让人兴奋的功能之一就是模型融合,让你像调音师一样混合不同音色,创造出独一无二的AI语音效果。

gitblog_00400的博客 578

原子力显微镜AFM图像处理软件Gwyddion使用教程(图文)

Gwyddion使用教程Gwyddion简介Gwyddion user guide下载地址本次教程用的AFM扫描图像下载地址AFM/STM校准样品Gwyddion使用step1step2step3step4step5step6step7step8你没见过的CD磁道到底长啥样一张图总结 Gwyddion简介        &nbs...

王纯配的博客 5万+

【机械臂算法】机械臂动力学参数辨识仿真

本文以puma560m机械臂为例子进行动力学参数辨识的讲解,puma560m可以在robotic toolbox中找到,这里以它真实机械臂对他的动力学参数进行辨识。此外这里还有要说的是,机械臂参数辨识其实是一个系统工程,其中和系统的机械、电子、嵌入式都有着很深的联系,并不是仿真这么简单的。

vrijheid的博客 7838

3步掌握RVC模型融合:打造你的专属AI音色

Retrieval-based-Voice-Conversion-WebUI(RVC WebUI)是一个基于VITS的强大变声框架,它最吸引人的功能之一就是**模型融合**。通过这个功能,你可以将不同训练好的语音模型进行混合,创造出独一无二的音色效果。无论是想要融合甜美与磁性的声线,还是结合不同语言发音特点,模型融合都能帮你实现! ## 🎯 为什么需要模型融合? 在AI语音转换的世界里,每个

gitblog_00856的博客 700

ArcGIS中地理坐标系与投影坐标系以及投影转换

简单介绍arcgis软件中坐标系定义、设置和常见问题。

weixin_41399650的博客 8万+

Java与AI大模型融合开发:金三银四求职指南

在当今企业级开发领域,Java作为稳定的后端技术栈与AI大模型的结合已成为技术融合的重要趋势。理解微服务架构与分布式系统原理是构建智能应用的基础,而AI组件的集成则为企业系统带来智能化升级。从技术实现角度看,需要掌握Spring Cloud等Java框架的工程化能力,同时熟悉Prompt工程和模型微调等AI技术。这种复合型技能在金融、电商等需要智能决策的场景中具有重要价值,特别是在智能客服、风控系统等典型应用中。本文通过分析Java+AI开发者的能力矩阵,为求职者提供从技术准备到面试策略的全方位指导,帮助开

weixin_34252090的博客 406

灵魂三问:因果推断

什么是因果推断?为什么研究因果推断?怎么进行因果推断研究?

ML OR 智能决策的博客 2907

WIN10环境下STK11.5(含Analyzer, EOIR, Scheduler插件)的安装与破解全攻略

本文提供了一份详细的WIN10环境下STK11.5软件及其核心插件(Analyzer, EOIR, Scheduler)的安装与破解全攻略。内容涵盖从安装包准备、系统环境检查,到基础版安装、插件部署、破解文件替换及许可证配置的完整步骤,并附有常见问题排错指南,旨在帮助用户免费搭建功能齐全的卫星仿真分析环境。

solidity8miner的博客 758

四足机器人智能控制三大突破:融合强化学习与模型预测的复杂地形自主导航

在机器人技术快速发展的今天,四足机器人的运动控制面临着复杂地形适应性和动态平衡稳定性的双重挑战。本项目提出的**强化学习应用**与**模型预测控制**融合方案,为这一技术瓶颈提供了创新性解决方案。通过数据驱动的智能决策与模型驱动的精确控制相结合,构建了完整的四足机器人控制框架,为研究者和开发者提供了从理论到实践的完整工具链。 ## 核心技术架构:双驱动控制范式 本项目最核心的创新在于采用了"数

gitblog_00374的博客 33

如何程序化的将 Wire 文件转换成 STEP、CATIA、DWG、NX、FBX 等格式

Wire 文件是专有格式,只有 Autodesk Alias 软件能够直接打开和编辑。 虽然可以在 Alias 软件中手动打开文件并导出为 STEP,但在实际工作中,经常会遇到需要转换数十甚至数百个文件的场景。如果每次都手动操作软件进行转换,不仅效率低下,还容易出错,批量场景下会非常麻烦。因此,程序化、自动化的转换方案变得至关重要。

weixin_44211633的博客 455

模型融合方法最全总结!

本文是模型融合的经验方法总结。包含了投票法、平均法、排序法、Stacking 和 Blending.一、背景之前有段时间打数据挖掘类比赛,看到很多选手用模型融合的技巧,特别是比赛后期的时候...

Datawhale 1万+

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

模型融合之STACKING方法

本文参考了Kaggle机器学习之模型融合(stacking)心得 stacking是用于模型融合的一个大杀器,其基本思想是将多个模型的结果进行融合来提高预测率。,理论介绍有很多,实际的例子比较少,本文将其实例化,并给出详细的代码来说明具体的stacking过程是如何实现的。stacking理论的话可以用下面的两幅图来形象的展示出来。 结合上面的图先做一个初步的情景假设,假设采用5折交叉验证: 训练集(Train):训练集是100行,4列(3列特征,1列标签)。 测试集(Test):测试集是30行

井底小蛙的博客 1万+

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

模型融合方法分类

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一 模型融合算法优势二 模型融合介绍2.1 模型融合的概念2.2 模型融合的条件2.3 构建不同集成模型的方法三 模型融合策略3.1 Voting 投票法3.2 Averaging 平均法3.3 Ranking 排序法3.4 Binning3.5 Bagging 融合—并行训练 (例如 随机森林)3.6 Boosting 融合—-串行(迭代)训练Boosting 与 Bagging的比较3.7 Stacking3.8 Blend

weixin_50304531的博客 4491

模型的几种常见融合方法

版权声明:本文为博主原创文章,遵循 CC 4.0 BY 版权协议,转载请附上原文出处链接和本声明。 ...

weixin_43265122的博客 1万+
上一篇: (三)模型和调参
下一篇: SVM支持向量机学习笔记
zhangycode
博客等级 码龄7年 5粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值