论文阅读【4】Product-based Neural Networks for User Response Prediction

最新推荐文章于 2025-12-25 16:43:46 发布
原创 最新推荐文章于 2025-12-25 16:43:46 发布 · 377 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #机器学习 #python

本文介绍了一种基于点积操作的神经网络模型PNN，该模型通过productlayer学习特征间的交互，有效解决了推荐系统中特征空间巨大带来的训练难题。PNN包括IPNN和OPNN两种变形，分别采用不同的方式计算特征交互。

请添加图片描述

巨大的特征空间给推荐系统的训练带来困难，本篇论文提出一个基于点积操作的神经网络，它用一个嵌入层学习分类数据的分布表示，通过product layer学习不同领域特征的交互特征，进而获得高阶特征的交互作用。实验表明product layer有效。

目录

问题描述

本文以预测CTR(Click-through rate)为目标，具体问题见博客：论文阅读【3】Deep & Cross Network for Ad Click Predictions。

本文核心思想

在这里插入图片描述
product layer是本文的核心，这一层获得交互特征，本文使用一些特殊的参数矩阵构造以及函数设定减小了时间开销，缩小了模型复杂度。

实现细节

输出层： y ^ = σ ( W 3 l 2 + b 3 ) \hat y =\sigma(W_3l_2+b_3) y^​=σ(W3​l2​+b3​) W 3 ∈ R 1 ∗ D 2 b 3 ∈ R W_3\in R^{1*D_2} b_3\in R W3​∈R1∗D2​b3​∈R
Hidden Layer 2: l 2 = r e l u ( W 2 l 2 + b 2 ) l_2=relu(W_2l_2+b_2) l2​=relu(W2​l2​+b2​) l 1 ∈ R D 1 l_1\in R^{D_1} l1​∈RD1​
Hidden Layer 1: l 1 = r e l u ( l z + l p + b 1 ) l_1=relu(l_z+l_p+b_1) l1​=relu(lz​+lp​+b<

最低0.47元/天 解锁文章
【推荐系统】Product-based Neural Networks for User Response Prediction
布纸所云
04-20 630
论文地址：Product-based Neural Networks for User Response Prediction 一、概述 Product-based Neural Networks（PNN）的特点如下： 直接从Embedding开始，而不需要预训练 使用product 层基于Embedding来学习特征之间的交互（包括内积和外积） 进一步通过FC来提取高阶特征模式 二、模型结构...
推荐系统笔记7-Product-based Neural Networks for User Response Prediction
年少_当自强的博客
02-03 3889
本文介绍Product-based Neural Networks for User Response Prediction（简称PNN），原文Paper链接。 摘要 本文和上次介绍的FNN一样，针对用户响应问题（如CTR、CVR等）建模，因为这类问题往往是类别型并且存在多个field，所以传统模型只能挖掘较浅的数据模式，且DNN不能直接用来处理高维稀疏输入（因特征空间过大），文章提出通过PNN来...
【推荐系统论文精读系列】(九)--Product-based Neural Networks for User Response Prediction
优快云 精品推荐
11-23 1363
文章目录Product-based Neural Networks for User Response Prediction一、摘要二、介绍三、相关工作四、深度学习用于CTR评估References Product-based Neural Networks for User Response Prediction 一、摘要 预测用户的反应，如点击和转换，是非常重要的，并已发现它在许多网络应用程序中使用，包括推荐系统、网络搜索和在线广告。这些应用程序中的数据大多是分类的，包含多个字段；典型的表示是通过一个热
05-《Product-based Neural Networks for User Response Prediction》
weixin_37562062的博客
05-26 289
PNN，使用embedding layer学习categorial data的分布式表示；使用product layer去捕获interfield categories的交叉模式；使用connected laye去探索高阶特征交叉。 DNN可以自动学习更有表现力的特征表示，并提供很好的预测性能。基于连接的embedding vector基础上，建立MLPs可以探索特征交叉。但是有两个问题：（1）嵌入的初始化的质量在很大程度上受到因子分解机的限制；（2）感知器层的“add”操作对于探索多个字段中catego
论文《Product-based Neural Networks for User Response Prediction》阅读
xingzhe123456789000的博客
05-23 409
论文《Product-based Neural Networks for User Response Prediction》阅读论文概况IntroductionDeep Learning for CTR Estimation未分解版IPNN向量分解版IPNN向量分解版OPNNExperiments 论文概况 这篇论文是上海交大发表在ICDM 2016上的一篇论文， CCF B会，提出了模型PNN。 模型在因子分解机（Factorization Machines, FMs）具有较大的影响力， 首先提出了pro
推荐系统-PNN模型Product-based Neural Networks for User Response Prediction
u012875855的博客
11-25 334
模型结构 模型主要分为输入层、embedding 层、product 层、两个全连接层 输入层：每个特征域的one hot表示 embedding 层：将特征one hot转为embedding表示fn product 层：本文主要内容，主要进行特征交叉 后面主要讲解一下product层 主要计算过程如上，常规操作，不在赘述 product 层 product层分为两个部分，其中第一部分，每个特征域与1进行内积，zn = fn, pi,j 则是fi, fj的内积或者外积...
【论文导读】深入理解PNN模型---加入Product层
Blank_Space
07-20 1608
前言本次分享一篇2016年提出的模型PNN（Product-based Neural Networks for User Response Prediction）。本文的主要创新点是在E...
4.Product-based Neural Networks for User Response Prediction论文详细解读和代码实现
zhaozhiwei314的博客
02-06 2452
一、前言 现在推荐系统，网络搜索和在线广告的数据大多是分类的，并包含多个字段，有一个典型的方法将他们转化成高维稀疏二进制特征表示就是通过one-hot编码。对于这些高维稀疏的特征，传统模型可能会限制它们从数据中挖掘浅层模式的能力，即低阶组合特征，另一方面，像深度神经网络这样的深度模型由于巨大的特征空间而不能直接应用于高维输入。（浅层模型例如FM虽然可学习二阶特征交叉但是表达能力有限；而深层模型例如DNN虽然可以学习高阶信息，但是DNN本身并不具备学习特征交叉的能力(不同的field之间并无”且“的运算)，而
CTR模型:PNN
rosefun96的博客
09-08 8918
1.简介 PNN模型（Product-based Neural Networks for User Response Prediction）是2016年提出的。 场景是预测用户反应，比如是点击，转化，在推荐系统，网络搜索，在线广告等，都有应用。 但这些场景会存在很多的类别特征，包含多个fields, 典型的表示是通过one-hot把它转换到高维的稀疏二值特征表示。 对应这种极端稀疏，传统模型局限于挖掘浅层的特征，比如，低阶特征组合。深度模型，比如深度神经网络，不能直接应用高维的输入，因为这会导致巨大的特征空
推荐系统CTR预估-PNN模型解析
weixin_30721077的博客
07-03 335
原论文：Product-based Neural Networks for User Response Prediction ：2016 https://arxiv.org/pdf/1611.00144.pdf 1、原理 给大家举例一个直观的场景：比如现在有一个凤凰网站，网站上面有一个迪斯尼广告，那我们现在想知道用户进入这个网站之后会不会有兴趣点击这个广告，类似这种用户点击率预测在信息检索领...
从ctr预估问题看看f(x)设计—DNN篇
Bryan__的专栏
08-24 7230
转自：https://zhuanlan.zhihu.com/p/28202287 把DNN引入ctr预估无非看重两点： 一，改进模型结构，提高“信息利用率”，发现高阶非线性特征，挖掘以前挖不到潜在模式，比如DIN引入attention机制；一般来说Embedding+MLP是标配。 二，扩充“信息量”，把图片/文本这类不好处理的数据利用起来，比如DeepCTR； #0 RoadMa
Neural Networks
JachinMa的博客
06-29 1302
神经网络可由torch.nn包构建。 在粗略地了解了自动求导后，现在可以理解通过自动求导来定义模型和对其求导的nn了。nn.Module包括图层，和返回output的forward(input)方法。 举个例子，下图是一个分类数字图像的神经网络： 它是一个简单的前馈网络。它获得一个输入，并将其一个接一个的穿过数个图层，并最终得到输出。 一个典型的神经网络处理流程如下： 定义一个有学习参数(或权...
《Product-based Neural Networks for User Response Prediction》PNN模型的理解与python代码
十三
04-10 1436
1 原文 点击【原文】即可下载。 2 PNN PNN（Product-based Neural Network），认为在embedding输入到MLP之后学习的交叉特征表达并不充分，提出了一种product layer的思想，既基于乘法的运算来体现体征交叉的DNN网络结构，模型如图所示 PNN模型的输出： L2层输出： L1层输出： 其中，lzl_zlz​，lpl_plp​以及b1b_1b...
深度学习在CTR中的应用
jediael_lu的专栏
09-01 7456
一、资料 目前的很多资料均是基于张伟楠的FNN模型，但还没有很大规模的应用。 另一种是google提出的wide & deep learning模型，主要用于推荐，美团的文章中也有介绍。 Deep Learning over Multi-Field Categorical Data: A Case Study on User Response Prediction
机器如何“猜你喜欢”？深度学习模型在1688的应用实践
weixin_34185320的博客
09-06 301
一、背景 猜你喜欢是推荐领域极其经典的一个场景，在1688首页无线端猜你喜欢栏目日曝光约23w，其中约72%的用户会产生点击行为，人均点击约8次。在我们的场景中，这部分是一个相对较大的流量来源。我们算法要做的就是通过用户的真实行为数据，预测用户最可能感兴趣的商品进行展示，以提高点击率，从而提高购买量。 不同于搜索，这种用户带有明确目的的...
深度学习在CTR预估中的应用 | CTR深度模型大盘点
Paper weekly
04-11 2041
作者丨辛俊波单位丨腾讯研究方向丨CTR预估，推荐系统前言深度学习凭借其强大的表达能力和灵活的网络结构在 NLP、图像、语音等众多领域取得了重大突破。在广告领域，预测用户点击率（Click Through Rate，简称 CTR）领域近年也有大量关于深度学习方面的研究，仅这两年就出现了不少于二十多种方法。本文就近几年 CTR 预估领域中学术界的经典方法进行探究，并比较各自之间模型设计的初衷和各自优缺
深度学习在CTR预估中的应用
心之所向
08-06 7448
1、转自 2、转自 3、深入FFM原理与实践 4、网络广告中，CPC、CPA、CPM 的定义各是怎样的？ 如果只是做研究，而考虑数据集的特征工程，可以关注这个库。 一、前言 深度学习凭借其强大的表达能力和灵活的网络结构在NLP、图像、语音等众多领域取得了重大突破。在广告领域，预测用户点击率（Click Through Rate，简称CTR）领域近年也有大量关于深度学习方面的研究，仅这两...
论文Product-based Neural Network for User Response Prediction
fredinators的博客
03-30 2279
Multi-field Categorical Data会有多种不同的字段，比如：[Weekday=Wednesday, Gender=Male, City=London,…]，那这样我们就比较难识别这些特征之间的关系。给大家举例一个直观的场景：比如现在有一个凤凰网站，网站上面有一个迪斯尼广告，那我们现在想知道用户进入这个网站之后会不会有兴趣点击这个广告，类似这种用户点击率预测在信息检索领域就是一...
003 卷积神经网络（CNN）-- 原理到实践
最新发布
yy_xzz的博客
12-25 836
卷积操作：局部连接，权重共享池化操作：降维，增加平移不变性经典架构现代技巧：批归一化，Dropout，残差连接实践应用：图像分类，特征可视化# 尝试设计一个用于MNIST的CNN# 你的设计pass# 前向传播pass。
《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction》的摘要
03-07
DeepFM 是一种基于因式分解机的神经网络，用于点击率预测。它将因式分解机和神经网络结合起来，以利用它们各自的优点。DeepFM 可以在大规模数据集上进行训练，并且在点击率预测任务上具有很高的准确性。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值