DeepGBM模型总结

最新推荐文章于 2024-11-06 09:11:07 发布
最新推荐文章于 2024-11-06 09:11:07 发布
阅读量1.1k 收藏 1
点赞数 1
分类专栏： 数据专题《大数据异常检测与推荐系统》
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yunxinan/article/details/103933763
版权

基于GBDT的在线预测任务深度学习框架
A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks
https://github.com/motefly/DeepGBM
该框架主要使用CatNN、GBDT2NN两部分实现非结构化数据和结构化数据同时处理。
本文优点：
（1）：CatNN主要侧重于处理Spares Categories Feature；
（2）：GBDT2NN主要侧重于处理Dense Numerical Feature；
（3）：online update端到端训练与在线更新
GBDT2NN解决FC全链接层稠密数值特征学习超平面优化陷入局部最优问题

catnn主要利用了embedding嵌入技术将高维度稀疏向量转为稠密向量，GBDT2NN采用GBDT
将数据划分为区域聚类成叶子，然后使用神经网络逼近树结构输出并蒸馏并且扩展到多树
逼近神经网络模型。
训练过程：
离线训练获得GBDT模型，然后GBDT叶子节点嵌入实现端到端训练。在线更新离线模型
时候丢弃分类任务交叉熵损失函数来达到更新嵌入学习部分而不改变GBDT数的特征从而保
证更新有效性。

新型在线预测模型DeepGBM(基于GBDT扩展的深度学习框架)
hestendelin的专栏
08-19 4132
DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction TasksGuoli...
深度梯度提升机器学习框架——DeepGBM
gitblog_00072的博客
04-15 521
深度梯度提升机器学习框架——DeepGBM 去发现同类优质开源项目:https://gitcode.com/ 在数据分析和机器学习领域，梯度提升机（Gradient Boosting Machine, GBM）是一种强大的工具，因其优秀的预测性能和模型解释性而备受青睐。现在，有一个名为的开源项目，它将深度学习与GBM相结合，旨在提供更高效、更灵活且易于使用的机器学习解决方案。 项目简介 DeepG...
论文笔记：《DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks》
fuzi2012的博客
11-03 5115
论文笔记：《DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks》摘要1. 简介2. DEEPGBM2.1 CatNN 专注于稀疏类别特征(for Sparse Categorical Features)2.2 GBDT2NN 专注于数值密集型特征(for Dense Numerical ...
DeepGBM思维导图（KDD2019）
02-19
在线预测已经成为许多实际应用中最基本的任务之一。在线预测任务的两个典型且主要特点是在线数据呈表格空间形式和在线数据流形式。具体地，表格数据空间中存在着稀疏分类特征和密集数值特征，而在线数据流意味着具有潜在动态分布的连续任务生成的数据。因此，利用表格数据空间进行有效学习和快速适应在线数据流成为赢得在线预测的两个重要挑战。虽然梯度提升决策树（gbdt）和神经网络（nn）在实际中得到了广泛的应用，但它们都有各自的缺点。尤其是gbdt很难适应动态的在线数据流学习，而且在面对稀疏的分类特征时往往是无效的；而神经网络在面对稠密的数值特征时则很难获得令人满意的性能。本文提出了一种新的学习框架DEEPGBM
DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks
YueLing's Blog
11-15 1620
DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks 论文链接：https://dl.acm.org/citation.cfm?id=3330858 代码链接：https://github.com/motefly/DeepGBM 背景 Guolin Ke是lightgbm的核心作者之一，我幸...
Python-DeepGBMGBDT针对在线预测任务发布的深度学习框架
08-11
然而，随着深度学习的兴起，将GBDT与深度学习结合，形成一种混合模型，即DeepGBM，已经成为研究的新热点。这种框架旨在提高在线预测任务的效率和准确性。 **1. DeepGBM的基本概念** DeepGBM是一种融合了GBDT和深度...
deepGBM全网最详细解释
占卜师的博客
08-31 1109
相关资料 [1]LightGBM: A highly efficient gradient boosting decision tree, NIPS 2017 代码地址:https://github.com/microsoft/LightGBM [2]DeepFM: a factorization-machine based neural network for ctr prediction， IJCAI 2017 代码地址:https://...
聊聊CTR预估算法DeepFM
hestendelin的专栏
05-27 410
DeepFM这种算法是一种基于分解机的神经网络，该算法由哈尔滨工业大学深圳研究生院联合华为诺亚方舟实验室于2017年提出的。这种算法是一种端到端的学习模型，不仅考虑了低阶...
Deep-Learning-for-Human-Activity-Recognition:CNN，DeepConvLSTM，SDAE和LightGBM的Keras实施，用于基于传感器的人类活动识别（HAR）
05-25
用于人类活动识别的深度学习（和机器学习） CNN，DeepConvLSTM，SDAE和LightGBM的Keras实施，用于基于传感器的人类活动识别（HAR）。 该存储库包含卷积神经网络（CNN）[1]，深度卷积LSTM（DeepConvLSTM）[1]，堆叠降噪自动编码器（SDAE）[2]和用于人类活动识别（HAR）的Light GBM的keras（tensorflow.keras）实现。 ）使用智能手机传感器数据集， UCI智能手机[3]。 表1.在UCI智能手机数据集上的五种方法之间的结果摘要。 方法 准确性 精确 记起 F1分数 轻型GBM 96.33 96.58 96.37 96.43 CNN [1] 95.29 95.46 95.50 95.47 DeepConvLSTM [1] 95.66 95.71 95.84 95.72 SDAE [
2024表格数据深度学习模型综述
数智笔记
11-06 4348
论文地址：https://arxiv.org/abs/2410.12034表格数据在医疗、金融和交通等行业广泛使用，由于其异质性和缺乏空间结构，给深度学习带来了独特的挑战。本调查回顾了针对表格数据的深度学习模型的发展，从早期的全连接网络(FCNs)到先进的架构如TabNet、SAINT、TabTranSELU和MambaNet。这些模型结合了注意力机制、特征嵌入和混合架构，以应对表格数据的复杂性。
【机器学习】集成学习—Boosting—GBM（Gradient Boosting Machine）解析
Danger的博客
05-06 3573
【机器学习】集成学习—Boosting—GBM（Gradient Boosting Machine）解析
torch.nn.cat()函数
TTXS_RS的博客
10-30 2150
csdn上一些对torch.nn.cat()中dim参数描述存在误导性。很多讲解只是以二维tensor为例，对于初学者很不友好，可能会误以为dim=0就是以行拼接，dim=1就是按列拼接。这种理解在做深度学习时，带来的错误可能是致命性的，torch的输入往往是(batch，channel，H，W)，这时候dim=0就是按batch拼接，dim=1就是按channel拼接 。。。 demo： >>> import torch >>> a = torch.randn(2
LightGBM处理imbalanced数据集
路越的专栏
08-11 1万+
在用LightGBM做分类器时如何处理样本类别分布不均衡的问题？ 一个简单的方法是设置is_unbalance参数为True或者设置scale_pos_weight,二者只能选一个。 设置is_unbalance参数为True时会把负样本的权重设为：正样本数/负样本数。这个参数只能用于二分类。 参考： 1. LightGBM官方文档：https://github.com/Microsoft...
阿里的CTR预测（一）：Deep Interest Network
weixin_34344677的博客
10-15 505
今天我想介绍阿里的同一推荐团队一脉相承的两篇文章，Deep Interest Network for Click-Through Rate Prediction和，Deep Interest Evolution Network for Click-Through Rate Prediction。这是第一部分，主要介绍前一篇文章。 Deep Interest Network（DIN） Deep In...
如何利用DeepFM算法设计推荐系统
hellozhxy的博客
09-28 2512
经过了十几年的发展，推荐系统在互联网行业已经变得越来越流行。从早年没有一个合适的产品形态，到如今在今日头条和抖音等商业产品中发挥重要作用，推荐系统已经越来越受到互联网公司和研究界学者的重视。 早年的推荐算法主要是各种单模型，例如逻辑回归、协同过滤、矩阵分解等等。后来推荐算法演化成了混合模型，例如 GBDT + LR , GBDT + FM 等。而随着深度学习的崛起，深度神经网络越来越深刻地影响了...
Deep Learning Toolkits 的比较（转）
jiandanjinxin的专栏
05-28 2289
Caffe   Theano  Torch   TensorFlow  本文转自：https://github.com/zer0n/deepframeworks Abstract. In this study, I evaluate some popular deep learning toolkits. The candidates are listed in alphabetica
用Keras实现一个DeepFM
songbinxu的博客
05-01 2万+
用Keras实现一个DeepFM 一、数据格式   在设计模型之间，首先要明确数据的格式应该是怎样的。我们假设现在要解决的问题是一个CTR预估问题，数据集是 (X,y)(X,y)(X,y)，每一个样本都是高度稀疏的高维向量。假设我们有两种 field 的特征，连续型和离散型，连续型 field 一般不做处理沿用原值，离散型一般会做One-hot编码。离散型又能进一步分为单值型和多值型，单值...
推荐系统 - DeepFM架构详解
热门推荐
马飞飞的博客
08-15 4万+
说明 理论部分请参照：https://www.jianshu.com/p/6f1c2643d31b，这里主要针对源码进行解读，填一些坑。 简单介绍 1.DeepFM可以看做是从FM基础上衍生的算法，将Deep与FM相结合，用FM做特征间低阶组合，用Deep NN部分做特征间高阶组合，通过并行的方式组合两种方法，使得最终的架构具有以下特点。 （1） 不需要预训练 FM 得到隐向量； ...
深度学习ET模型
最新发布
03-25
### 关于深度学习 ET 模型的介绍 ET 模型通常指的是 **Exponential Time (ET)** 类型的模型或者某些特定领域中的扩展时间序列预测模型。然而，在当前语境下，如果提到的是与深度学习相关的 ET 模型，则可能涉及以下几种情况： #### 1. 时间序列建模中的 ET 模型 在时间序列分析中，ET 模型可以指代一种结合指数平滑方法（Exponential Smoothing）和深度学习框架的时间序列预测工具。这类模型通过引入注意力机制或 Transformer 架构来提升长期依赖关系的学习效果[^1]。 例如，Transformer 的变体——Temporal Fusion Transformers (TFT)，是一种专门用于时间序列预测的强大模型。它融合了 LSTM 和 Transformer 的优势，能够在多变量输入的情况下提供高精度的预测结果。以下是 TFT 的核心特点： - 利用门控机制控制短期记忆和长期记忆的信息流动。 - 结合自注意力机制捕获全局模式。 - 支持多种外生变量作为额外输入。 ```python import pytorch_forecasting from pytorch_forecasting.models import TemporalFusionTransformer # 数据准备 data = ... # 加载时间序列数据集 training, validation = data.split([0.7, 0.3]) # 定义模型配置 tft = TemporalFusionTransformer.from_dataset( training, learning_rate=0.01, hidden_size=16, attention_head_size=4, dropout=0.1 ) # 训练过程 trainer = pytorch_lightning.Trainer(max_epochs=10) trainer.fit(tft, train_dataloader=train_loader, val_dataloaders=val_loader) ``` 上述代码展示了如何使用 PyTorch Forecasting 库快速构建一个 TFT 模型，并完成基本训练流程[^2]。 --- #### 2. 增强表征学习的混合架构 另一种可能性是 ET 模型代表了一种增强表征学习的技术栈。在这种情况下，可以参考混合架构的设计理念，比如 NODE（Neural Ordinary Differential Equations）或 DeepGBM 提到的方法。这些模型尝试将传统机器学习算法（如决策树）与现代深度学习技术相结合，从而实现更优的效果。 具体来说，DeepGBM 是一种集成 XGBoost 和神经网络的解决方案，适用于结构化表格数据的任务。其主要思路如下： - 首先利用 Gradient Boosted Decision Trees (GBDT) 对原始特征进行预处理； - 接着将 GBDT 输出的概率分布映射至连续空间； - 最终送入一个多层感知机 (MLP) 进一步提取高层次抽象特征。 这种方法不仅继承了决策树良好的解释性特性，同时也保留了神经网络强大的表达能力[^3]。 --- #### 3. 调整超参数以优化性能 无论采用哪种具体的 ET 模型形式，合理的超参数设置始终至关重要。对于大多数深度学习项目而言，初始学习率的选择往往是决定收敛速度的关键因素之一。尽管存在通用指导原则，但最佳值仍需依据实际场景灵活调整。 此外，当涉及到从全连接层向卷积操作迁移时，是否沿用已有权重取决于目标应用场景的具体需求。部分研究表明直接复用旧参数可能会带来一定收益；但也有人主张重新初始化并逐步微调新加入的部分，以便适应新的计算逻辑[^4]。 --- ### 总结 综上所述，“ET 模型”可以根据上下文指向不同方向的研究主题。如果是专注于时间维度上的动态变化规律挖掘，则推荐探索基于 Transformer 的先进方案；而对于那些希望兼顾效率与精确度之间平衡点的朋友来说，不妨考虑采纳类似 DeepGBM 的复合策略。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值