基于深度学习的推荐模型--PNN

已于 2022-02-21 16:07:07 修改
阅读量476 收藏
点赞数
文章标签： 深度学习 人工智能
于 2022-02-21 16:05:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42586738/article/details/123031898
版权
本文探讨如何在NacureCF基础上引入PNN模型，增强特征交互，如用户和物品属性的交叉，包括线性和乘积层的设计。重点讲解了embedding层、Product层（内积和外积）的应用，以及如何通过PNN提升模型的表达能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

NacureCF只考虑到了用户和物品两种向量的整体交叉，但是如果说我想让特征交叉变的更加多样那我们要怎么做呢，比如我想让用户的单独属性和物品的单独属性交叉，那么PNN模型就为我们提供了方法，同时PNN模型也丰富了它特征交互的方式，即有线性部分也有乘积部分。

在这里插入图片描述

embedding层中是对对每一个离散稀疏的Field特征域进行Embedding操作，让原本的向量乘以embedding矩阵，embedding矩阵参数是通过神经网络的反向传播进行学习。

这个模型的重点就是它的Product层

在这里插入图片描述

首先， 这一层的输入是N NN个特征域的embedding向量， F e a t u r e 1 , . . . . F e a t u r e N Feature 1, ....Feature NFeature1,....FeatureN， 这一层的输出会是l_z , l_p然后将两者横向拼接起来

 先看Lz部分

 

 其实很简单我们看下面的图

f1到fn为经过embedding层的向量，每一个向量有m维

然后每个lz神经元中都会为它们每一个参数匹配一个权重w，然后再将它们相加。

之后我们来看LP部分

LP分为inner和outer两种模式

我们先来看inner模式

 这是公式，乍一看比较难理解

我们看简单理解

 其实和lz部分唯一的不同就是在输入的地方对embedding过的向量进行两两相乘做内积后再进行喂入

然后我们来看outer部分

outer部分和上面其实差不多，但它在这里做的是外积

 这里注意的是这里的p其实是一个三维矩阵了

然后每一个神经元里面的参数就都变成了一个矩阵了

基于深度学习的推荐系统
Java_college的博客
06-21 1734
推荐系统是互联网时代的一项关键技术，它通过分析用户的兴趣和行为，为用户推荐个性化的内容和产品，从而提高用户的满意度和参与度。随着人工智能技术的迅速发展，特别是深度学习的广泛应用，推荐系统迎来了新的发展机遇。深度学习以其强大的特征提取和非线性建模能力，在推荐系统中扮演着越来越重要的角色。
工业界推荐系统必读论文：基于深度学习的推荐模型——DLRM
Paper weekly
11-25 2191
作者丨纪厚业单位丨北京邮电大学博士生研究方向丨异质图神经网络及其应用引言推荐系统尤其是深度推荐系统已经在工业界得到了广泛应用，尤其是在电商场景下（如淘宝和京东的商品推荐）...
推荐系统遇上深度学习(六)--PNN模型理论和实践
weixin_33843409的博客
07-27 787
1、原理 PNN，全称为Product-based Neural Network，认为在embedding输入到MLP之后学习的交叉特征表达并不充分，提出了一种product layer的思想，既基于乘法的运算来体现体征交叉的DNN网络结构，如下图： 按照论文的思路，我们也从上往下来看这个网络结构： 输出层 输出层很简单，将上一层的网络输出通过一个全...
CIKM 2021 | AMTL：设计孪生掩码层高效学习维度自适应的Embedding
阿里妈妈技术
11-17 1070
▐摘要在深度推荐模型中，ID类特征的表示学习是至关重要的。其中，每一个特征值将会被映射成一个特征向量。对于同一个特征域的不同特征值，传统的特征表示学习方法会固定对应特征向量的维度大小。这...
基于深度学习的推荐系统:综述与新视角
热门推荐
沈春旭的博客
12-27 2万+
原文：Deep Learning based Recommender System: A Survey and New Perspectives 作者：张帅, 新南威尔士大学 翻译：沈春旭，清华大学   随着在线信息量的不断增加，推荐系统已经成为克服这种信息过载的有效策略。推荐系统的效用无论如何强调都不过分，因为它在许多Web应用程序中被广泛采用，以及它对于改善与过度选择相关的许多问题的潜在...
【人工智能与机器学习】Python 实现基于PSO-PNN粒子群算法（PSO）优化概率神经网络的数据分类预测的详细项目实例（含模型描述及示例代码）
最新发布
05-31
⑤ 为深度学习模型的优化提供新思路。 其他说明：此项目不仅结合了PSO与PNN的优势，还引入了自适应粒子群优化、强化学习等技术，增强了模型的适应性和泛化能力。项目提供的代码示例详细展示了PSO优化PNN
推荐系统之PNN模型
qq_38375203的博客
05-28 1649
前言 今天开始整理讲解Product-based Neural Network（PNN）模型，前面讲解的AutoRec和Deep Crossing模型是在神经网络的复杂度和层数方面进行的进化，而这两个模型也是使用深度学习从用户和物品相似度的角度来进行系统推荐的。其中对AutoRec和DeepCrossing这两个模型有些遗忘的小伙伴可以看看我这篇文章，推荐算法之AutoRec与Deep Crossing模型，但是这两个模型在特征交叉这个方面并没有进行很合理的设计，更多的是使用了全连接层来增加了模型的复杂度
Python-DeepCTR是一个易于使用模块化和可扩展的基于深度学习的CTR模型包
08-11
这个库提供了丰富的核心组件层，允许开发者方便地构建自定义的深度学习模型来预测用户对特定内容的点击可能性。 在机器学习领域，点击率预测是关键任务之一，特别是在个性化推荐和在线广告中。CTR模型通过分析用户...
基于SOM-PNN神经网络的城市环境风险预测算法研究.pdf
09-25
“基于SOM-PNN神经网络的城市环境风险预测算法研究” 本文研究了基于SOM-PNN神经网络的城市环境风险预测算法，旨在提高城市环境风险预测的准确性和效率。SOM（Self-Organizing Map）和PNN（Probabilistic Neural ...
推荐系统（九）PNN模型（Product-based Neural Networks）
天泽28的专栏
02-13 7281
PNN模型（Product-based Neural Networks）和上一篇博客介绍的FNN模型一样，都是出自交大张伟楠老师及其合作者，这篇paper发表在ICDM'2016上，是个CCF-B类会议，这个模型我个人基本上没听到过工业界哪个公司在自己的场景下实践过，但我们依然可以看看这篇paper的成果，也许能为自己的业务模型提供一些参考借鉴意义。PNN是通过引入product（可以是内积也可以是外积）来达到特征交叉的目的。
基于深度学习的推荐模型--AutoRec
qq_42586738的博客
02-21 395
首先介绍 在传统的CF里，所用的信息即为所有用户历史的评分数据，按用户做行，item做列，可以得到一个rating matrix R，其中Rij指useriuseri对itemjitemj的打分。其中我们只能观测到这个矩阵里的部分值，那些未观测到的值则是需要预测的对象。MF解决该问题的思路是将评分矩阵拆成U*V，其中U为user隐向量矩阵，V为item隐向量矩阵。一旦获得U和V后，预测值就可以从u*v上得到 在神经网络有，一有类特殊的网络叫做AutoEncoder 它是一种使得输出的数据尽可能...
基于深度学习的搜索、推荐、广告系统最全最新论文分享分享
lqfarmer的博客
04-03 360
推荐系统是有效的信息过滤工具，由于互联网接入的增加、个性化趋势和计算机用户习惯的改变，这种工具非常普遍。尽管现有的推荐系统成功地产生了不错的推荐，但是它们仍然面临着诸如准确性、可伸缩性和冷启动等挑战。在过去的几年中，推荐系统中的研究热点之一是，深度学习的引入以提高推荐质量。 在本资源中，基于深度学习的推荐方法进行了回顾与总结，对深度学习在搜索、推荐、广告相关领域的最新论文进行了整理。主要集中在embedding向量化，匹配（matching，），排序（CTR预估，CVR预估），后...
DLRM（Deep Learning Recommendation Model）：深度学习推荐模型
weixin_46251155的博客
04-28 1469
DLRM（Deep Learning Recommendation Model）是一种深度学习推荐模型，它结合了深度学习技术来改进推荐系统的性能。DLRM 通常用于在线广告投放、个性化推荐、产品推荐等领域，它通过学习用户的行为模式和偏好来提供更加精准的推荐结果。由于其高效的处理能力和良好的推荐效果，DLRM 成为了推荐系统中的一个重要工具。：DLRM 能够处理大规模的数据集，适用于需要处理数百万用户和物品的推荐场景。：DLRM 通过精心设计的网络结构来捕捉用户和物品之间的复杂交互。
基于深度学习的推荐模型--NeuralCF
qq_42586738的博客
02-21 496
介绍一下它，首先也还是回顾cf的回顾 但是这个模型由于结构太简单，计算也太简单， 使得输出层无法对目标进行有效的拟合。 简单来说就是原始向量被隐向量相乘表达时被表达的并不准确。可以看下图。 直观的看， 是隐向量计算相似度的时候存在问题， 因为相似度是夹角衡量的， 夹角关系在降维之后有可能发生了错乱， 但是这间接的说明了单单使用内积不足以可靠的预测评分。 所以我们就把单纯的点积操作给换成了一个mlp GMF 作者指出如果上图中的 Neural CF Layers ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值