Neural Factorization Machines (NFM)

最新推荐文章于 2024-08-07 15:44:56 发布
最新推荐文章于 2024-08-07 15:44:56 发布
阅读量191 收藏
点赞数
文章标签： 深度学习 推荐系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40200988/article/details/120764925
版权
本文探讨了NFM如何通过简化策略减轻deepFM在embedding层的高参数量问题，重点介绍了其创新的Bi-InteractionLayer，它通过特征相乘相加实现更高效模型设计。NFM在宽&深架构中占据核心地位。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

deepFm在embedding上直接concat参数量是f*k,在此基础上NFM提出简化策略以轻量化模型.因此NFM仍然是以wide&deep作为主框架的.
在这里插入图片描述
作者提出的连接方式更加的暴力,不是concat而是使用Bi-Interaction Layer名字很高级实际就是按照一种规则将特征相乘再相加具体表示如下
在这里插入图片描述

SimilarMoer
关注
精通推荐算法21：特征交叉之NFM -- 异构模型Deep侧加入显式交叉
谢杨易的博客
08-09 1135
NFM模型针对FM的二阶部分进行优化，通过交叉池化层和深度神经网络，为模型引入高阶特征交叉能力和非线性能力。它综合了FM的显式特征交叉，以及DNN的高阶特征交叉能力，同时具备二者的优点。由新加坡国立大学研究人员，于2017年提出，全称“9]。2 NFM模型推导。
推荐系统5--NeuralCF与PNN模型(改变特征交叉方式)
weixin_41403341的博客
06-02 757
一，前言——推荐系统传统机器学习方法和深度方法的一些理解 深度学习时代，推荐模型主要有下面两个进展： 1，与传统的机器学习模型相比，深度学习模型的表达能力更强，能够挖掘更多数据中隐藏的模式 2，深度学习模型结构非常灵活，能够根据业务场景和数据特点，灵活调整模型结构，使模型与应用场景完美结合。 推荐系统算法两个根本性思路是： 1，用户和物品的表征，也就是如何更好的把用户特征和物品特征信息表示出来，比如矩阵分解（MF）模型就是属于这个思路上的，使用了embeding的思路来表示用户和物品，从而用向量的乘积来表示
Neural Factorization Machine -学习笔记
不学无术的小镇做题家
05-04 1009
动机 在推荐系统中，交叉特征(Cross Features)可以深入挖掘特征之间的潜在关系，提升模型效果。例如，把职业特征occupation={banker,doctor}occupation=\left\{banker,doctor\right\}occupation={banker,doctor}和性别特征gender={M,F}gender=\left\{M,F\right\}gender={M,F}进行交叉组合，可以得到新特征occupation_gender={banker_M,banker_F
NFM（Neural Factorization Machines for Sparse Predictive Analytics）
糖葫芦君的博客
05-19 1009
普遍问题 在预测任务中，特征向量是高度稀疏的，学习特征交互是重要的 为什么提出该方法，其他方法的缺点 人工设计特征组合需要领域知识，很难泛化到新问题或者新领域，没有办法捕获到没有出现在训练数据中的组合特征； embedding的方式： FM：以线性的方式学习二阶特征交互，对于捕获现实数据非线性和复杂的内在结构表达力不够； 深度网络：例如Wide&Deep 和DeepCross，简...
Neural Factorization Machines（NFM）
null的专栏
04-05 2078
相对于DeepFM和DCN对于Wide&Deep Wide部分的改进，NFM可以看作是对Deep部分的改进。NFM的全称是Neural Factorization Machines，如果我们从深度学习网络架构的角度看待FM，FM也可以看作是由单层LR与二阶特征交叉组成的Wide&Deep的架构，与经典W&D的不同之处仅在于Deep部分变成了二阶隐向量相乘的形式。再进一步，NFM从修改FM二阶部分的角度出发，用一个带Bi-interaction Pooling层的DNN替换了FM的特征
Factorization Mechanism
s1162276945的博客
03-15 505
2017 Neural Factorization Machines for Sparse Predictive Analytics 分解机的优点，为什么要基于分解机做本文的研究；分解机的不足，本文的模型正好可以弥补分解机的不足，线性表达。 分解机的算法复杂度为线性 (既是优点又是缺点)，这在一定程度上缺乏足够的特征表达能力，因此作者提出改进模型 NFM 非线性、高次 分解机公式推导 关...
DeepCTR专题：Neural Factorization Machines 论文学习和实现及感悟
weixin_30678349的博客
12-20 176
papers地址：https://arxiv.org/pdf/1708.05027.pdf 　　借用论文开头，目前很多的算法任务都是需要使用category feature，而一般对于category feature处理的方式是经过one hot编码，然后我们有些情况下，category feature 对应取值较多时，如：ID等，one hot 编码后，数据会变得非常的稀疏，不仅给算...
论文阅读：（NFM）Neural Factorization Machines for Sparse Predictive Analytics
weixin_45459911的博客
04-23 1295
文章目录摘要一、Introduction二、NFM基本原理1、系统框架1、Embedding Layer2、Bi-Interaction Layer3、Hidden Layer4、Prediction Layer2、 NFM vs Wide&Deep、DeepCross三、训练1、目标函数2、参数估计3、Dropout4、Batch Normalization四、实验部分1、数据集2、实验...
NFM(Neural Factorization Machines)：模型原理及pytorch代码实现
zhao254014的博客
09-14 2956
NFM的核心创新点是Bi-Interaction池化部分来代替其他模型使用的拼接。
推荐系统笔记7-Neural Factorization Machines for Sparse Predictive Analytics
年少_当自强的博客
02-03 1671
这篇文章介绍NFM(Neural Factorization Machines for Sparse Predictive Analytics)，Paper链接，这是我最想了解的一篇文章了，曾经17年腾讯广告比赛的神器。 摘要 和FNN、PNN一样，针对类别变量One-hot以后的稀疏输入，如何做交互而引出NFM，FM可以捕捉交互（二阶特征），但是以线性方式；DNN可以捕捉非线性特征交互，如Wid...
NFM-3:NFM> = 3
05-13
Tensorflow implementation of Neural Factorization Machines as described in: Xiangnan He, Tat-Seng Chua. Neural Factorization Machines for Sparse Predictive Analytics. In Proc. of SIGIR 2017. } 的代码...
CTR预估 论文精读(三)--Factorization Machines
Dby_freedom的博客
12-04 2079
Abstract In this paper, we introduce Factorization Machines (FM) which are a new model class that combines the advantages of Support Vector Machines (SVM) with factorization models. Like SVMs, FMs are...
四种推荐算法——Embedding+MLP、Wide&Deep、DeepFM、NeuralCF
m0_59704905的博客
08-07 2282
最经典的是输入用户和物品id，转化成One-hot编码后经过简单的Embedding后生成稠密向量，然后将用户塔和物品塔拼接一起，送进MLP层中充分交叉，获取更高阶的特征，然后输出。提出的Wide&Deep是比较经典的一个深度学习模型，它使模型既具有想象力又具有记忆力——线性模型（Wide）使模型既具有记忆力和深度神经网络（Deep）使模型既具有泛化性。可以简单地理解成对商品或者是特征之间成对出现的一种学习，由于用户的历史行为特征是非常强的特征，特征之间的直接线性关联，对于特征间的简单关系很有效。
论文笔记《Neural Factorization Machines for Sparse Predictive Analytics》
u014475479的博客
08-13 3547
原文链接 本文发表于信息检索领域顶级会议 SIGIR 2017 代码链接 摘要 在当今互联网工业界中，有许多预测任务需要用到大量的类别特征。要想将这些类别特征送入到模型中，就必须得将其onehot。但这样一来，就会产生大量的稀疏特征...
【每周一文】Field-aware Factorization Machine（2014）
fangqingan_java的专栏
04-12 3887
概述 FFM 近年来在各类比赛取得不俗的成绩，该文介绍了FFM的算法思路和求解过程。 FFM模型 线性模型由于其简单好优化在工业界广泛使用，特别是LR、SVM等表达能力比较强的线性模型。这些模型一个共同的问题是需要人工进行特征组合进行模型优化，沿着这个思路出现了几个模型。 线性模型 基础模型，表示为： Φ(w,x)=w0+∑i=1nwixi\Phi(w,x)=w_0+\sum_
FM系列—DeepFFM、DeepFM 结构详解
zhong_ddbb的博客
07-23 5655
通过FM系列—FM+FFM详解我们知道：FM通过对于每一维特征的隐变量内积来提取特征组合。虽然理论上来讲FM可以对高阶特征组合进行建模，但实际上因为计算复杂度的原因一般都只用到了二阶特征组合。那么对于高阶的特征组合，则通过多层的神经网络即DNN去解决。 背景 DeepFM模型包含FM和DNN两部分，FM模型可以抽取low-order特征，DNN可以抽取high-order特征。 在CTR中，通常将特征转为one-hot的形式，但如果将这些特征输入到DNN中，会导致网络参数太多，如下图所示： 为了解决这个问
FM及其变种（转载）
weixin_40901056的博客
07-10 735
一、区别特征交互作用 这部分模型的演进思路就是根据假设来增加参数量 ( 即模型复杂度 ) 来提高模型表达能力。FFM 模型参数量太大，一则容易过拟合，二则不利于线上大规模部署 ( 内存压力 ) 。 笔者更倾向于 Field-weighted FM，简单有效，在效果和实际应用上做了很好的 tradeoff 。 1.1 FM Factorization Machines https://www.csi...
DeepFM: A Factorization-Machine based Neural Network for CTR Prediction简介
loserChen的博客
01-07 1550
Abstract 对于一个基于CTR预估的推荐系统，最重要的是学习到用户点击行为背后隐含的特征组合。在不同的推荐场景中，低阶组合特征或者高阶组合特征可能都会对最终的CTR产生影响。但是现存的方法总是忽视了高阶或低阶组合特征的联系，或者要求专门的特征工程，因此作者建立了DeepFM模型，将FM与DNN结合起来。 Introduction DeepFM的预测结果可以写为： ​ y^=sig...
《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction》阅读笔记
songbinxu的博客
04-26 2159
DeepFM: A Factorization-Machine based Neural Network for CTR Prediction   现有的针对CTR预估问题的解决方案，普遍对不同阶的交叉特征有着偏好，或者需要专家级特征工程。文章提出了DeepFM模型，能够实现端到端训练，不需要额外的特征工程，并且可以自动地提取交叉特征。   CTR预估中，一个很重要的内容就是去挖掘点击背后隐藏...
NFM pytorch 复现
最新发布
10-26
NFM (Neural Factorization Machines) 是一种结合了矩阵分解和深度学习技术的推荐系统模型。它在PyTorch库中实现复现通常涉及以下几个步骤： 1. **安装依赖**：首先需要安装PyTorch库以及相关的数据处理和科学计算库，如NumPy、Pandas。 ```python pip install torch torchvision numpy pandas ``` 2. **理解基础**：熟悉神经网络和因子分解的基本原理，理解NFM模型结构，包括用户和物品的嵌入层、交互层、以及可能的全连接层。 3. **模型构建**：在PyTorch中创建一个NFM类，包含输入、嵌入层、交互矩阵生成、以及预测等函数。例如，可以使用`nn.Embedding`模块进行嵌入，然后通过点积运算生成交互矩阵。 ```python class NFM(nn.Module): def __init__(self, num_users, num_items, emb_dim, hidden_units): super(NFM, self).__init__() self.user_embedding = nn.Embedding(num_users, emb_dim) self.item_embedding = nn.Embedding(num_items, emb_dim) self.interaction_layer = nn.Linear(emb_dim * 2, emb_dim) # 二阶项 self.fc_layers = nn.Sequential(*[nn.Linear(emb_dim, unit) for unit in hidden_units] + [nn.Linear(hidden_units[-1], 1)]) def forward(self, users, items): user_vecs = self.user_embedding(users) item_vecs = self.item_embedding(items) interaction = torch.cat((user_vecs * item_vecs, user_vecs + item_vecs), dim=-1) interaction = F.relu(self.interaction_layer(interaction)) fc_out = self.fc_layers(interaction) return fc_out ``` 4. **训练与优化**：准备数据，比如用户-物品评分对，使用PyTorch的损失函数（如均方误差MSE）和优化器（如Adam）来训练模型。 5. **评估与验证**：通过交叉验证或预留部分数据进行模型性能评估，如计算准确率、AUC等指标。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值