2021-11-04 CTR预估之Deep Interest NetWork模型原理详解

最新推荐文章于 2023-05-09 08:00:00 发布
最新推荐文章于 2023-05-09 08:00:00 发布
阅读量322 收藏
点赞数 1
分类专栏： 论文 文章标签： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40133431/article/details/121135009
版权
本文详细介绍了Deep Interest Network（DIN）模型，该模型解决了传统DNN模型在CTR预估中的兴趣多样性问题。DIN利用注意力机制实现局部激活，动态学习用户兴趣的embedding向量，并提出了一种数据动态自适应激活函数Dice和针对CTR场景的高效正则化方法。此外，文章还探讨了DIN在电商推荐和feed流推荐等领域的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

CTR预估之Deep Interest NetWork模型原理详解

2018年8月发表在KDD的Paper
核心思想：用户的兴趣是多元化的（diversity），并且对于特定的广告，用户不同的兴趣会产生不同的影响(local activation)。

  • 有许多研究将DNN模型应用于CTR预估中，常见的比如，DeepFM, Wide&Deep，PNN等，其主要结构都是使用FM等方式实现Embedding，将大规模稀疏的Web数据转化为稠密的vector。这类模型将原始高维的离散特征映射为固定长度的低维embedding向量，并将embedding向量作为多个全连接层的输入，拟合高阶的非线性关系，最后通过Sigmoid等手段将输出值归一到0~1，表示点击概率。 相比于传统的LR、GBDT、FM等模型，这类DNN的模型能减少大量的人工构造特征过程，并且能学习特征之间的非线性关系。
  • 但是，上述DNN模型也存在一定的问题，利用固定维度的embedding向量表示用户的兴趣多样性是有限制的。为了增加模型的多样性学习能力，往往会扩充embedding向量的维度。而广告场景的样本比例往往是不平衡的，在训练样本有限的情况下，扩充特征维度将容易导致过拟合，并且增加了模型训练的负担。
    此外，针对某一条广告，没必要将用户的所有兴趣都同等对待，往往决定用户点击的只有一部分兴趣。传统基于DNN的CTR预估模型对用户的历史行为是同等对待的，一般离当
最低0.47元/天 解锁文章
2021年「顶会论文」特征交叉相关CTR模型汇总
hong__fang的专栏
03-06 675
主要介绍2021年顶会论文中，特征交叉相关的CTR模型，主要介绍7篇论文模型。
推荐系统CTR预估模型之Deep Interest Network(Din)
gq的博客
05-18 2111
 Deep Interest Network(Din)模型是阿里妈妈基础算法团队发表在KDD 18上的一篇论文，用来做CTR预估。  文章的innovation也很简单，在电商场景的广告推荐中，用户的兴趣非常重要，而用户的兴趣从算法测一般通过用户历史浏览点击的一些商品来进行刻画，目前的主流DNN模型都是直接把用户的一些兴趣(可以是一些用户历史浏览点击的商品，keyword等feature)直接做一...
推荐系统（十一）阿里深度兴趣网络（一）：DIN模型（Deep Interest Network）
热门推荐
天泽28的专栏
02-26 2万+
DIN（Deep Interest Network）模型是阿里妈妈盖坤团队发表在KDD'18上的文章，因为有阿里的光环，因此，这个模型在业界还是比较有名气的，至于最终在其他公司场景下有没有效果，取决于对比的baseline，如果你的baseline足够弱，理论上会有一定效果的提升，当然，如果你的baseline够强，可能一点效果都没有。之前博客介绍的模型都在解决如何有效的学到高阶交叉特征，而DIN的核心思想是把attention机制引入了到用户兴趣建模上。
Deep Interest Network
zhixiongzhao的博客
03-18 744
作者 | 李宁宁 来源 | 机器学习荐货情报局（ID：ML_CIA） 编辑 | Vincent AI 前线导读：Deep Interest Network(DIN) 是盖坤大神领导的阿里妈妈的精准定向检索及基础算法团队，在 2017 年 6 月提出的。它针对 电子商务领域 (e-commerce industry)的 CTR 预估，重点在于 充分利用 / 挖掘用户历史行为数据中的信息。本文将...
#Paper Reading# Deep Interest Network for Click-Through Rate Prediction
John159151的专栏
06-10 660
论文题目: Deep Interest Network for Click-Through Rate Prediction 论文地址: https://dl.acm.org/citation.cfm?id=3219823 论文发表于: KDD 2018（CCF A类会议） 论文大体内容： 本文主要介绍了阿里妈妈团队用于CTR任务的DIN（Deep Interest Network）模型，该模型通...
阿里CTR预估三部曲（2）：Deep Interest Evolution Network for Click-Through Rate Prediction简析
loserChen的博客
05-31 1177
##阿里CTR预估三部曲（2）：Deep Interest Evolution Network for Click-Through Rate Prediction Introduction 作者提出以前的CTR预估方法都是直接将用户表现的表示向量当作兴趣而没有通过具体的表现对隐藏的兴趣进行建模。因此提出DIEN，而DIEN有两个关键模块。一个是从具体的用户表现中抽取潜在的兴趣，主要是利用GRU+一...
CTR深度学习模型之 DIN(Deep Interest Network) 的理解与例子
VariableX的博客
09-25 5162
在电商领域，每个用户都有丰富的历史行为数据，这些数据具有如下特点： 多样性（Diversity）：用户可能对多种商品感兴趣，例如手机、衣服。 局部激活（Local Activation）：用户是否点击新商品，仅仅取决于历史行为中与新商品相关度高的部分数据。 如何从中捕获特征对CTR预估模型非常重要。论文 《Deep Interest Network for Click-Through Rate Prediction 提出了深度兴趣网络 Deep Interest Network，以下简称 DIN
计算广告CTR预估系列(五)--阿里Deep Interest Network理论
李宁宁
06-06 1万+
计算广告CTR预估系列(五)–阿里Deep Interest Network理论 计算广告CTR预估系列(五)–阿里Deep Interest Network理论 1. 背景 1.1 名词解释 1.2 相关工作 2. 系统总览 2.1 训练数据 2.2 特征处理 2.3 评价指标 3. 原理 3.1 Base Model 3.2 DIN Design 3.3 Dice: Data D...
阿里的CTR预测（二）：Deep Interest Evolution Network
weixin_33920401的博客
10-17 406
这篇文章发布于2018年9月，是之前的DIN的改进版。我们在阿里的CTR预测（一）：Deep Interest Network中提到过，他们尝试使用LSTM来学习序列化数据的特征，但是对DIN的结果没有改善。DIEN在这一点上做了改善。 Deep Interest Evolution Network（DIEN） 我们略去背景介绍，尤其是Base Model的部分，如果大家想看的话，可以去前一篇文章...
深度学习 - 46.DIN 深度兴趣网络
BITDDD小栈
05-09 1560
Alibaba Attention 序列模型 DIN 之 Deep Interest Nerwork。
DeepCTR：易于使用，模块化和可扩展的基于深度学习的CTR模型，用于搜索和推荐
02-05
深度点击率 DeepCTR是基于深度学习的CTR模型的易于使用，模块化和可扩展的软件包，以及许多可用于轻松构建自定义模型的核心组件层。您可以将任何复杂的模型与model.fit() ，和model.predict() 。 提供类似tf.keras.Model界面以进行快速实验。 提供tensorflow estimator接口用于大规模数据和分布式训练。 它与tf 1.x和tf 2.x兼容。 一些相关的项目： DeepMatch： ： DeepCTR-Torch： ： 让我们 （）， 型号清单 模型 纸 卷积点击预测模型 [CIKM 2015] 分解支持的神经网络 [ECIR
CTR预估之Deep Interest NetWork模型原理详解
Yummy
12-14 7962
本文介绍的Deep Interest NetWork是阿里妈妈盖坤带领的团队2018年8月发表在KDD的Paper，在点击率预估等场景有不错的效果。由于最近团队也准备尝试下该模型，因此提前熟悉下DIN的原理与实现。 引言 点击率预估在搜索、推荐、广告等领域具有很广泛及成功的应用，众多学者和公司也纷纷发表了相关Paper。随着深度学习在计算机视觉，自然语言处理等领域的重大突破，有许多研究将D...
Deep Interest Network (DIN)专题1-论文解析： Deep Interest Network for Click-Through Rate Prediction
fangfanglovezhou的博客
01-13 1060
深度学习CTR预估的基本方法和缺陷 基于深度学习CTR预估的基本方法 基于深度学习的CTR预测被广泛的应用，这些方法的基本思想是类似的：将大规模的稀疏特征以分组（group-wise manner ）的方式映射到低纬度的嵌入向量（embedding vectors），再进一步转换为固定长向量（fixed-length vectors），最后拼接到一起给全连接层来学习特征间的非线性关系。该方法与传统的逻辑回归相比，能省去大量特征工程的工作并增强模型能力，通常称之为 Embedding&MLP方
【读书笔记】Deep Interest Evolution Network for Click-Through Rate Prediction
SrdLaplace的博客
04-23 1376
Zhou G, Mou N, Fan Y, et al. Deep Interest Evolution Network for Click-Through Rate Prediction[J]. arXiv preprint arXiv:1809.03672, 2018. https://github.com/mouna99/dien Abstract 对于CTR预测模型，很有必要捕捉用户兴趣的...
阿里的CTR预测：Deep Interest Network
03-21 261
https://blog.youkuaiyun.com/friyal/article/details/83063948 https://zhuanlan.zhihu.com/p/51623339 https://arxiv.org/pdf/1706.06978.pdf
推荐系统（十二）阿里深度兴趣网络（二）：DIEN模型（Deep Interest Evolution Network）
天泽28的专栏
02-26 9195
目前的CTR预估模型都直接把用户行为当做用户兴趣，简单的做个embedding后就进入到MLP中，并没有挖掘潜藏在这些行为之后用户的兴趣。DIEN则通过用户行为序列挖掘背后隐藏的用户兴趣及进化过程。
CTR预估专栏 | 一文搞懂阿里Deep Interest Network
weixin_34354945的博客
07-23 591
作者 | 李宁宁来源 | 机器学习荐货情报局（ID：ML_CIA）编辑 | VincentAI 前线导读：Deep Interest Network(DIN) 是盖坤大神领导的阿里妈妈的精准定向检索及基础算法团队，在 2017 年 6 月提出的。它针对 电子商务领域 (e-commerce industry)的 CTR 预估，重点在于 充分利用 / 挖掘用户历史行为数据中的信息。本文将对 DIN ...
SIGIR 2021｜重新思考Attention在CTR预估中作用
Paper weekly
06-23 810
©PaperWeekly 原创 ·作者|金金单位|阿里巴巴研究实习生研究方向|推荐系统论文标题：Looking at CTR Prediction Again: Is Att...
阿里经典推荐论文《Deep Interest Network for Click-Through Rate Prediction》理解
dreamweaverccc的博客
07-08 958
Zhou G, Zhu X, Song C, et al. Deep interest network for click-through rate prediction[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. ACM, 20...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值