DeepFM

最新推荐文章于 2024-04-23 17:36:06 发布
置顶 最新推荐文章于 2024-04-23 17:36:06 发布
阅读量5.2k 收藏 5
点赞数 1
分类专栏： DL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhangbaoanhadoop/article/details/81608959
版权
DeepFM是一种结合FM（因子分解机）和DNN（深度神经网络）的模型，用于点击率预测。它包括wide（FM）和deep（DNN）两部分，其中FM部分处理低阶特征交互，DNN部分捕捉高阶特征交互。模型通过端到端训练，不需要复杂的特征工程，并且相比其他模型如FNN、PNN和宽深网络，DeepFM具有更好的性能和训练效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • DeepFM 设计思路简单，源于 2016 年 Google 的宽深网络方法但是效果出众。DeepFM是一个集成了FM和DNN的神经网络框架，思路和Google的Wide&Deep相似，都包括wide和deep两部分。W&D模型的wide部分是广义线性模型，DeepFM的wide部分则是FM模型，两者的deep部分都是深度神经网络。DeepFM神经网络部分，隐含层的激活函数用ReLu和tanh做信号非线性映射，sigmoid函数做CTR预估的输出函数。

  • 模型结构:

    1. FM部分的结构：

       

      FM部分是一个因子分解机。关于因子分解机可以参阅文章[Rendle, 2010] Steffen Rendle. Factorization machines. In ICDM, 2010.。因为引入了隐变量的原因，对于几乎不出现或者很少出现的隐变量，FM也可以很好的学习。

    DeepFM的输出公式为：

     

    FM的输出公式为：

     

最低0.47元/天 解锁文章
NLP自然语言处理系列-推荐系统-FM与DeepFM算法实战（1）
段智华的博客
04-05 849
NLP自然语言处理系列-推荐系统-FM与DeepFM算法实战 目录 FM算法(Factorization Machines)点击率FM算法求解过程DeepFMDeepFM算法实战原始数据集转换以后的数据集加载数据集一阶权重参数设计 FM算法(Factorization Machines) FM(Factorization Machines)模型是面向个性化的机器学习技术，是一个非常强大的工具，特征组合算法是一种通用的监督学习算法，可用于分类和回归任务，是线性模型的扩展，旨在捕获高维稀疏数据集中特征之间的组合
Wide & Deep、DeepFM系列算法原理与优缺点对比
ISMedal的博客
09-06 1万+
一、Wide & Deep模型 Wide & Deep Learning 模型的核心思想是结合广义线性模型的记忆能力（memorization）和深度前馈神经网络模型的泛化能力（generalization）。利用广义线性模型从历史数据中学习特征相关性，利用深度前馈神经网络揭示隐式特征之间的相互作用。在训练过程中同时优化 2 个模型的参数，从而达到整体模型的预测能力最优。 Wide...
FM & DeepFM
Swift's Blog
01-17 1032
FM 参数数量和时间复杂度优化 当我们使用一阶原始特征和二阶组合特征来刻画样本的时候，会得到如下式子： y^=w0+∑i=1nwixi+∑i=1n−1∑j=i+1nwijxixj \hat{y}=w_{0}+\sum_{i=1}^{n} w_{i} x_{i}+\sum_{i=1}^{n-1} \sum_{j=i+1}^{n} w_{i j} x_{i} x_{j} y^​=w0​+i=1∑n​wi​xi​+i=1∑n−1​j=i+1∑n​wij​xi​xj​ xix_ixi​ 和 xjx_jxj​ 分别表
8、DeepFM介绍
weixin_45063703的博客
06-05 1432
对于一个基于CTR预估的推荐系统，最重要的是学习到用户点击行为背后隐含的特征组合。 在不同的推荐场景中，低阶组合特征或者高阶组合特征可能都会对最终的CTR产生影响。 简单线性模型，缺乏学习high-order特征的能力，很难从训练样本中学习到从未出现或极少出现的重要特征。深层模型善于捕捉high-order复杂特征。现有模型用于CTR预估的有很多尝试，如CNN/RNN/FNN/PNN/W&D等，但都有各自的问题。DeepFM 是华为诺亚方舟实验室在 2017 年提出的模型。 可以看做是从FM基础上衍生的算法
搜索推荐DeepFM算法详解：算法原理、代码实现、比赛实战
丨汀、的博客
01-19 6552
搜索推荐DeepFM算法详解：算法原理、代码实现、比赛实战
DeepFM详解和实现
最爱娜美注孤生的专栏
04-30 699
FM(Factorization Machines) 传统的LR算法是线性模型，想要提取非线性关系，要么通过GBDT来提取非线性特征，要么手动构建非线性特征。 FM直接显示的构建交叉特征，直接建模二阶关系： 公式如下： y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1nwijxixj y(\mathbf{x}) = w_0+ \sum_{i=1}^n w_i x_i + \sum_{i=...
如何用keras实现deepFM
01-20
**如何使用Keras实现DeepFM** DeepFM是一种融合因子分解机（FM）和深度神经网络的模型，常用于点击率预测（CTR）和转化率预测（CVR）。它结合了FM的高效特征交互捕获能力和深度学习的非线性表达能力。在Keras中实现...
tensorflow2.0_实现的_DeepFM，使用_Criteo_子数据集加以实践。_tf2_deepfm.zip
09-16
在这样的背景下，一个名为“tensorflow2.0实现的DeepFM，使用Criteo子数据集加以实践”的项目，即tf2_deepfm.zip，展示了如何在最新的tensorflow框架中实现DeepFM模型，并利用Criteo数据集进行训练和验证。...
人工智能大作业-基于 DeepFM 模型实现点击率预估python源码+详细项目说明.zip
06-13
基于 DeepFM 模型实现点击率预估python源码+详细项目说明.zip人工智能大作业-基于 DeepFM 模型实现点击率预估python源码+详细项目说明.zip 人工智能大作业-基于 DeepFM 模型实现点击率预估python源码+详细项目说明....
DeepFM代码详解及Python实现
12-21
《DeepFM代码详解及Python实现》 DeepFM（Deep Factorization Machine）是一种融合因子分解机（Factorization Machine, FM）和深度学习模型的推荐系统算法，它在处理高维稀疏数据时表现优异。本文主要关注DeepFM的...
deepFM_推荐系统算法FM_deepfm_
09-30
《深度因子化模型（DeepFM）在推荐系统中的应用与解析》 推荐系统作为现代互联网服务的核心技术之一，广泛应用于电商、音乐、视频等众多领域，通过理解用户的行为和兴趣，为用户提供个性化的内容推荐。其中，因子化...
CTR预估算法之FM, FFM, DeepFM及实践
热门推荐
JohnSon
12-29 8万+
目录 目录 CTR预估综述 Factorization Machines(FM) 算法原理 代码实现 Field-aware Factorization Machines(FFM) 算法原理 代码实现 Deep FM 算法原理 代码实现 参考文献 CTR预估综述 点击率(Click through rate)是点击特定链接的用户与查看页面，电子邮...
【机器学习技术系列】FM系列算法详解(FM、FFM、DeepFM)
小田的专栏
04-23 6399
可解释性强。形式简单，训练速度快。表达能力有限只在处理二分类问题上优势明显。
DeepFM论文详解
cuicuicuicuicuih的博客
04-10 386
目前的CTR预估模型，实质上都是在“利用模型”进行特征工程上狠下功夫。传统的LR，简单易解释，但特征之间信息的挖掘需要大量的人工特征工程来完成。由于深度学习的出现，利用神经网络本身对于隐含特征关系的挖掘能力，成为了一个可行的方式。DNN本身主要是针对于高阶的隐含特征，而像FNN（利用FM做预训练实现embedding，再通过DNN进行训练，有时间会写写对该模型的认识）这样的模型则是考虑了高阶特征，...
DeepFM算法详解-推荐算法中的皇冠
Garvin的专栏
08-14 3714
概述 DeepFM是一种推荐领域炙手可热的算法，在非常多大家熟识的互联网公司都有落地场景。对于DeepFM最佳的阐述一定是来自于它的原始的论文。 地址：https://arxiv.org/pdf/1703.04247.pd 然后再介绍下推荐算法的本源，推荐其实是一个典型的二分类场景。在推荐算法中需要做的事情无非是把一个商品或者广告推送给一个人，然后预测出来这个人喜欢或者不喜欢。这里最难的...
FM系列算法解读（FM+FFM+DeepFM）
数据喵的博客
08-03 7万+
https://blog.youkuaiyun.com/jiangjiang_jian/article/details/80631180
CTR的模型：FM、FFM和DeepFM的理解
zhuhongde的博客
07-11 4940
参考文献 1.FM系列算法解读（FM+FFM+DeepFM） 2.深入FM和FFM原理与实践 3.CTR学习笔记系列—— FM 和 FFM 4.FM算法及FFM算法 5.『我爱机器学习』FM、FFM与DeepFM 6.CTR预估算法之FM, FFM, DeepFM及实践 前言 在计算广告中，CTR是非常重要的一环。对于特征组合来说，业界通用的做法主要有两大类：FM系列和Tree系列。这里我们来介...
推荐系统 - DeepFM架构详解
weixin_40252835的博客
06-07 353
说明 理论部分请参照：https://www.jianshu.com/p/6f1c2643d31b，这里主要针对源码进行解读，填一些坑。 简单介绍 1.DeepFM可以看做是从FM基础上衍生的算法，将Deep与FM相结合，用FM做特征间低阶组合，用Deep NN部分做特征间高阶组合，通过并行的方式组合两种方法，使得最终的架构具有以下特点。 （1） 不需要预训练 FM 得到隐向量； （2） 不需要人...
deepFM
最新发布
04-02
### DeepFM 模型概述 DeepFM 是一种融合了因子分解机（Factorization Machine, FM）和深度神经网络（Deep Neural Network, DNN）的推荐系统模型。它通过联合训练的方式，能够同时捕捉低阶特征交互和高阶特征交互[^2]。 #### 模型结构 DeepFM 的整体架构由两大部分组成：FM 组件和 Deep 组件。这两部分共享相同的输入层和嵌入层（Feature Embedding Layer），从而减少了计算开销并提高了效率[^4]。 - **FM Component**: 负责捕获数据中的低阶特征交互关系。其核心在于利用二阶多项式来建模特征之间的相互作用[^1]。 - **Deep Component**: 使用多层感知器（MLP）提取复杂的高阶特征交互模式。这一部分类似于传统的深度学习方法，具有强大的表达能力。 最终输出是由 FM 和 Deep 两个组件的结果加权求和得出，确保既能保留线性和简单交叉项的优势，又能挖掘深层次的关系[^3]。 --- ### 实现细节 以下是基于 PyTorch 编写的简化版 DeepFM 模型代码： ```python import torch import torch.nn as nn class DeepFM(nn.Module): def __init__(self, feature_size, embedding_dim, deep_layers=[64, 32]): super(DeepFM, self).__init__() # 参数初始化 self.feature_size = feature_size self.embedding_dim = embedding_dim # FM 部分 self.fm_first_order_embeddings = nn.Linear(feature_size, 1) self.fm_second_order_embeddings = nn.Embedding(feature_size, embedding_dim) # Deep 部分 all_dims = [embedding_dim * feature_size] + deep_layers layers = [] for i in range(1, len(all_dims)): layers.append(nn.Linear(all_dims[i - 1], all_dims[i])) layers.append(nn.ReLU()) self.deep_network = nn.Sequential(*layers) self.final_layer = nn.Linear(deep_layers[-1] + 1, 1) # 合并 FM 和 Deep 输出 def forward(self, X): fm_first_order_emb_arr = self.fm_first_order_embeddings(X).unsqueeze(-1) fm_second_order_embs = self.fm_second_order_embeddings(X.long()) # 计算 FM 部分 sum_of_squares = torch.sum(fm_second_order_embs, dim=1)**2 square_of_sums = torch.sum(fm_second_order_embs**2, dim=1) fm_output = 0.5 * (sum_of_squares - square_of_sums).sum(dim=-1, keepdim=True) # 计算 Deep 部分 deep_input = fm_second_order_embs.view(-1, self.feature_size * self.embedding_dim) deep_output = self.deep_network(deep_input) # 合并 FM 和 Deep 输出 concat_output = torch.cat([fm_output, deep_output], dim=-1) final_output = torch.sigmoid(self.final_layer(concat_output)) return final_output ``` 上述代码定义了一个基础版本的 DeepFM 模型，其中包含了 FM 和 Deep 两个主要组成部分，并实现了前向传播逻辑。 --- ### 应用场景 DeepFM 广泛应用于广告点击率预测（CTR Prediction）、商品推荐等领域。由于它可以自动处理稀疏数据并有效结合低维与高维特征交互，因此特别适合解决大规模工业级问题。 例如，在电商平台上，可以通过分析用户的浏览历史、购买记录以及其他行为特征，构建一个 DeepFM 模型来进行个性化商品推荐；或者在搜索引擎中优化查询词与文档的相关性评分。 此外，为了方便后续部署或迁移学习，通常会采用 `torch.save` 方法保存完整的模型状态字典至文件中以便加载使用: ```python torch.save(model.state_dict(), 'deep_fm_model.pth') loaded_model = DeepFM(...) loaded_model.load_state_dict(torch.load('deep_fm_model.pth')) ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值