DIEN算法介绍

最新推荐文章于 2025-02-18 00:45:46 发布
原创 最新推荐文章于 2025-02-18 00:45:46 发布 · 6k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

DIEN，深度兴趣进化网络，改进自DIN，通过引入序列概念和GRU，捕捉用户兴趣随时间演变的过程，利用Attention机制聚焦于与目标广告相关的用户兴趣，提升CTR预测准确性。

参考文献
Deep Interest Evolution Network for Click-Through Rate Prediction

前情提要
DIN

DIEN，全名Deep Interest Evolution Network，中文名为深度兴趣进化网络，在DIN中加了个E,Evolution，要知道，进化论也就是Evolution啊，把进化论放到名字里的算法，从此可见一斑。虽然人家其实跟进化论没啥关系，具体如何，下面分解。

上回且说到阿里向众人解释完DIN，意犹未尽，继续开始解释起DIEN来，只见他默默地甩出一张大图
在这里插入图片描述
见到此图，众人只觉得腰膝酸软，面如土色，只见阿里不紧不慢地开始解释起来。

你看这图，原先在DIN中User Behaviors的部分现在分成了三层，第一层Behavior Layer，第二层Interest Extractor Layer，第三层Interest Evolving Layer。第一层Behaviors Layer没什么好说的，就是用户曾经点击过的item打包全放在这里，但跟DIN不同的是，这里User Behaviors不叫User Behaviors了，叫User Behaviors Sequence，有了序列的概念，就是item间先后顺序变得重要起来，要按时间排列，这是什么讲究？这始于一个洞见，不仅是女人，所有人都是善变的，可能女人更严重些，具体来说就是人的兴趣也是一个演变的过程，你昨天喜欢哈登，没准明天就喜欢蔡徐坤了，不同的兴趣导致了不同的点击行为，User Behaviors Sequence是一个用户点击item的按照时间排列的序列b(1),b(2)…… b(T)，这些行为序列本身其实反映了用户兴趣演变的过程，你喜欢哈登的时候会点击哈登同款保温杯，喜

最低0.47元/天 解锁文章
精通推荐算法25：行为序列建模之DIEN -- GRU建模用户行为序列
谢杨易的博客
08-20 1419
DIN通过AttentionPooling的精巧设计，解决了行为序列与候选商品的充分交叉、行为序列针对不同候选物品的自适应建模、以及各历史行为重要性的有效区分等问题，引起了业界对用户行为序列建模的热情。但其序列中各历史行为之间没有关联，时序信息也是缺失的，无法表达用户兴趣的演化过程，导致行为序列建模的表达能力不足。进一步理解，类似于自然语言处理中的文本序列，用户行为序列本质上也是一个序列，用户当前是否点击与之前的历史行为息息相关。比如用户购买手机后，大概率接下来会买手机壳和贴膜。
【推荐算法课程二】推荐算法介绍-深度学习算法
最新发布
weixin_42738495的博客
06-12 224
深度学习在推荐系统中的应用逐渐成为主流，AutoRec和Deep Crossing是两种典型模型。AutoRec采用自编码器结构，通过单隐层神经网络重建用户评分，分为基于物品和基于用户两种形式。Deep Crossing则构建了完整的深度学习架构，包含Embedding层、Stacking层、残差单元层和Scoring层，解决了特征稠密化、自动交叉组合和优化目标拟合等关键问题。两种模型分别代表了早期和进阶的深度学习推荐方法，为后续研究奠定了基础。
【DNN】DIEN算法原理
凝眸伏笔的博客
05-29 1497
在阿里的DIN之后，随后推出了DIEN，发表于2018年。
推荐算法(十)——阿里深度兴趣进化网络 DIEN
予以初始的博客
11-15 1992
目录1 介绍2 原理2.1 Behavior Layer2.2 Interest Extractor Layer2.3 Interest Evolving Layer3 总结写在最后 1 介绍 本文为 推荐系统专栏 的第十篇文章，也是阿里三部曲 DIN、DIEN、DSIN中的第二篇。 上篇文章介绍的 DIN，通过引入 Attention Layer 赋予用户行为不同的重要性权重，但却忽略了行为发生的时间顺序。 本篇的深度兴趣进化网络 DIEN，就是针对行为的时间顺序进行建模，挖掘用户的兴趣及兴趣变化趋势。
深监督，辅助损失，auxiliary loss
qq_43733107的博客
09-19 9967
辅助损失，深监督
CTR深度学习模型之 DIEN(Deep Interest Evolution Network) 的理解与示例
VariableX的博客
09-30 2374
本文介绍阿里提出的兴趣进化网络(Deep Interest Evolution Network，以下简称DIEN。 前一篇文章介绍的 DIN 模型如下图所示： DIN 直接把用户的某个行为作为用户的兴趣，在实际的电商场景中这并不完全准确。 用户的兴趣受到环境因素与自身因素的影响，会不断的变化。例如用户会在一段时间内关注手机相关的商品，另一段时间内又会关注书籍相关的商品，而手机与书籍之间的关系就比较小了。本文的介绍的 DIEN 模型就是要捕捉用户兴趣的演变过程。DIEN 仍然采用了 attention 机制
【推荐算法】单目标精排模型——DIEN
weixin_51908696的博客
12-11 995
阿里巴巴广告点击率预测截至2018年，还没有相关的推荐算法考虑到用户兴趣的趋势。作者认为大多数的模型是直接将行为视为兴趣，无法直接提取用户真正的潜在兴趣特征。因此，作者提出了DIEN模型，利用通过用户历史行为序列捕捉用户的兴趣序列特征，通过处理目标的兴趣演变过程。： 笔者认为这篇文章的模型创新关键点在于关注了RNN的隐藏状态，通过一个辅助损失训练每一个隐藏状态，每一个隐藏状态对应一个行为序列的子兴趣，并基于这些子兴趣结合注意力机制进一步学习兴趣的演化发展。
DIEN-序列模型与推荐系统的结合
qq_39691463的博客
11-12 1552
一：DIEN的进化动机 1，序列信息加强了最近行为对下次行为预测的影响。 2，序列模型能够学习到购买趋势的信息 如果放弃了序列信息，则模型学习时间和趋势这类信息的能力就会变弱，推荐模型就仍是基于用户所有购买历史的综合推荐，而不是针对下一次购买的推荐，显然从业务角度讲，后者才是推荐系统真正的目标。 二：DIEN的模型结构 从整体上看，模型仍然是输入层+embedding层+链接层+全链接神经网络层+输出层。 ...
推荐系统 之 DIEN
Francis_s的博客
11-19 1825
1. DIEN的由来 其实，之前我们讨论的所有模型都是基于用户的过往历史进行物品的推荐，但是这个想法往往缺少了一个很重要的维度去模拟我们日常挑选商品的行为，那就是时间序列信息。为什么说时间序列信息对推荐来说是有价值的呢？一个典型的电商用户的现象可以说明这一点，我们在日常消费，或者日常逛淘宝的时候，其实发现自己的兴趣迁移是非常快的，例如用户在挑选一双篮球鞋的时候，这位用户上周的行为序列都会集中在篮球鞋整个品类的商品上，但在他完成购买后，本周他的购物兴趣可能变成买一个机械键盘了。但是用以往的模...
DIEN模型介绍
舟
04-05 2540
文章目录DIEN介绍兴趣抽取层辅助loss兴趣演化层整体模型结构图实验对比参考 DIEN介绍 在CTR预估中，捕捉用户行为背后隐式的兴趣是非常重要的，而且因为外部环境和用户心智的变化，用户的兴趣会随着时间不断演化。 传统的CTR预估把用户行为直接表示为兴趣，缺少在具体行为背后的隐式兴趣，而且很少有工作考虑兴趣的演化。 DIEN设计了一个兴趣抽取层捕捉了用户历史行为的兴趣，在这层中提出了一个辅助lo...
DIEN论文解读
qq_35985044的博客
10-13 861
摘要：对于CTR预测模型，捕获用户行为数据背后潜在的用户兴趣是有必要的。此外，考虑到外部环境变化和内部认知的变化，用户兴趣会随着时间的推移而动态变化。目前，有一些CTR预估模型用于兴趣建模，但大多数都直接将行为表征作为兴趣，缺乏对具体行为背后的潜在兴趣进行针对性建模。此外，很少有工作考虑到兴趣的变化趋势。本文中，我们提出了一种新的模型——深度兴趣演化网络（DIEN）。具体来说，我们设计兴趣提取器层（interest extractor layer）以从历史行为序列中捕获时序兴趣。在这一层，我们引入辅助损失（
[CTR模型] DIEN（Deep Interest Evolution Network）模型解读与Deepctr实现
zhong_ddbb的博客
10-10 2673
文章目录背景基本原理1. 模型的输入2. Interest Extractor Layer3. Interest Evolving LayerDeepctr实现 背景 DIEN（Deep Interest Evolution Network）是DIN的改进版，先回顾一下DIN模型： DIN模型的核心思想是：在用户兴趣多样性的推荐背景下，利用用户的历史行为数据，通过Attention机制来捕捉被推荐物品的相对兴趣。DIN模型没有考虑到用户的兴趣的动态变化，如何在CTR中捕捉到用户兴趣的发展变化，就是DIEN
推荐系统（十二）阿里深度兴趣网络（二）：DIEN模型（Deep Interest Evolution Network）
热门推荐
天泽28的专栏
02-26 1万+
目前的CTR预估模型都直接把用户行为当做用户兴趣，简单的做个embedding后就进入到MLP中，并没有挖掘潜藏在这些行为之后用户的兴趣。DIEN则通过用户行为序列挖掘背后隐藏的用户兴趣及进化过程。
推荐系统之深度兴趣进化网络DIEN
李问渔
04-12 1461
深度兴趣进化网络DIEN 深度兴趣进化网络（Deep Interest Evolution Network，DIEN）是阿里妈妈广告团队发表在AAAI 2019上的工作，是深度兴趣网络DIN模型的升级版。 Motivation 与搜索广告不同，在推荐系统中用户无需输入关键词来表达意图，因此捕捉用户兴趣并考虑兴趣的动态变化对提升模型效果来说十分关键。以Wide&Deep为代表的模型只考虑不同...
CTR之行为序列建模用户兴趣：DIEN
sgyuanshi的博客
03-12 2228
在CTR模型中，**通过用户的行为数据捕获用户的潜在兴趣是非常重要的**。另外，考虑到外在环境和内在认知的变化，**用户的兴趣是随着时间在动态演变的**。
DIEN：深度兴趣演化网络
Mike的博客
02-18 1277
为了在效率与性能之间找到平衡，作者使用GRU（门控循环单元）来建模行为之间的依赖关系，GRU的输入是按时间顺序排列的用户行为。通过辅助损失和改进的GRU架构，DIEN能够更好地处理长序列行为数据，并优化用户兴趣的表示，推动广告推荐系统的发展。具体而言，兴趣演化层通过对每个GRU步骤的局部激活，使得与目标项相关的兴趣得以强化，减少来自兴趣漂移的干扰。兴趣演化层的目标是通过建模兴趣的演化过程，提高目标项CTR的预测准确度。在电商系统中，用户行为承载着潜在的兴趣，用户在每次行为后，兴趣都会发生变化。
DSIN(Deep Session Interest Network)详解
futurewq的博客
06-20 637
DIEN存在一个问题，就是只关注了如何去改进网络，而忽略了用户历史行为序列本身的特点，我们仔细去想，用户过去可能有很多历史点击行为，比如[]item3,item45,item69,item21,...]，这个按照用户的点击时间排好序了，既然我们说用户的兴趣是非常广泛且多变的，那么这一大串序列的商品中，往往出现的一个规律就是再。接下来就是不同的会话都走这样的一个Transformer网络，就会得到一个K*embed_dim的矩阵，代表的是某个用户在K个会话里面的兴趣信息，这个就是会话兴趣提取层的结果了。
[搜广推]深度学习推荐模型（9）——序列模型在推荐系统中的应用：DIEN
m0_69281817的博客
12-27 1338
DIEN是DIN模型的进化版本，在MLP的基础上引入先验知识（用户对目标广告的感兴趣程度）来提高模型准确性，因此要考虑如何对兴趣建模。
捕捉用户兴趣演化--DIEN论文解读
hionechance的blog
11-30 1539
0. 说在前面 这篇论文距发表已经有一段时间了，但作为引入用户时序信息中提取用户兴趣的经典思路，在一些技术细节上还是有必要学习借鉴下。 个人心得： 用户行为可视为序列特征（相对于DIN的改进） GRU / LSTM隐变量 - 通过用户行为洞悉背后的兴趣 Attention - 捕捉不同时间点的用户兴趣与当前推荐物品的相关性，得到用户对该推荐物品的最近兴趣 原文地址： https://arxiv.org/pdf/1809.03672.pdf 原文代码： https://github.com/mouna99
阿里巴巴2B电商算法建模：人货场精准匹配
同时，还介绍了在挖掘用户需求、商品画像构建、流量控制和推荐策略等方面的算法应用。" 电商的核心问题主要围绕“场”、“人”和“货”三个方面展开。首先，“场”代表的是电商平台的环境和场景，如何塑造并理解这...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值