DIN论文解析笔记

已于 2023-02-19 16:22:35 修改
阅读量273 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Recommend 文章标签： 深度学习 机器学习 人工智能
于 2023-02-19 16:04:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangwangstone/article/details/129110840
文章探讨了BaseModel中商品id、goodsid、catid使用Multi-hot编码，而其他特征如年龄性别采用One-hot编码的原因。注意力机制在DIN模型中被用来保留用户兴趣强度，未进行softmax归一化以避免长序列时权重过小，影响兴趣向量的显著性。该研究源于阿里巴巴的开创性工作，强调了深度学习在个性化推荐中的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

注意Base Model 中 对于历史行为特征中的商品id、goodsid 、cat id 是Multi-hot编码，其他的上下文特征如年龄性别都是One-hot编码； 

参考 2特征表示：；

注意力机制得分： 

没做softmax 归一化的原因： 为了保留用户的兴趣强度。如果做归一化，当序列长度很长时，容易导致权重系数很小，从而各个历史行为的强度也不然容易区分而且最终的加权和容易很小，兴趣向量不明显， 

参考： “

【深度学习推荐模型】DIN模型 —— 阿里巴巴推荐领域开创性论文，引入注意力机制的深度学习网络，导读-4DIN模型网络结构” 。

https://www.bilibili.com/video/BV1eV41147oi?p=4&vd_source=0e2d47c0c67fb509b32ba3bfc5b73819

NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL、SQL-PaLM）、新一代数据集BIRD-SQL解读
丨汀、的博客
04-15 2521
NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL）、新一代数据集BIRD-SQL解读
Source-Code-Notebook（源码解析和逐行笔记）
nakaizura
05-03 6966
Source-Code-Notebook 关于一些经典论文源码Source Code的中文笔记，尽量做到整体框架梳理和逐行源码注释。 不过太早期的代码一般都模块化了，所以主要更一些后期(2017-NOW)的笔记。 语言主要是pytorch和Tensorflow版本的代码，部分keras。 有注解错误和思路问题欢迎讨论。 大部分都在本博客里面有文章整理过吧，思路+源码一起吃能对pap...
DIN模型
futurewq的博客
02-14 434
DIN
排序模型：DIN、DINE、DSIN
Ajdidfj的博客
03-07 1910
目录DIN输入输出：与transformer注意力机制的区别与联系：DINE改善DIN输入：DSIN动机：LGB适用与精排，论文： Deep Interest Network for Click-Through Rate PredictionDIN模型提出的动机是利用target attention的方法，进行加权pooling，它为历史行为的物品和当前推荐物品计算一个attention score，然后加权pooling，这样的方法更能体现用户兴趣多样性。DIN模型，增加了注意力机制，模型的创新点或者解决
【序列建模】DIN深度兴趣网络
北冥有鱼
03-31 1880
【序列建模】DIN深度兴趣网络 通过用户的历史行为序列刻画用户兴趣的广泛性，是推荐系统比较大的一个难点，用户历史行为序列建模的研究经历了从Pooling、RNN到attention、capsule再到transformer的顺序 Pooling：代表是Youtube DNN ，对用户历史行为的商品ID进行embedding后再sum pooling/mean pooling，比如用户历史买过10件电子产品和1件衣服，那embedding被pooling仍然能够反映出用户对电子商品的偏好。这种做法优势是比较
推荐系统遇上深度学习(十八)--探秘阿里之深度兴趣网络(DIN)浅析及实现
简书博客搬家测试账号
08-13 3389
欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！ 对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。 本文来自天善智能社区专栏作者[文文](https://ask.h...
DIN模型介绍
舟
01-11 5113
简介 场景：根据用户历史行为序列给用户推荐物品 例如：根据用户最近买了鞋子，裙子，现在要预估一件女性大衣的CTR 或者音乐场景中，用户最近在听rap，给他推荐一些中国新说唱的歌曲的CTR 普通做法，对用户历史行为的item embedding做average pooling 但是实际中，用户行为中有些跟当前推荐物品有关，有些跟当前物品无关，比如女性偶尔给男朋友买了球鞋，偶尔听到一首热门歌曲，其实...
CTR --- DIN论文阅读笔记，及tf2复现（全网之最）
WGS.
01-07 879
总结笔记之前已经发过，这里直接贴出tf2实现的代码 https://blog.youkuaiyun.com/qq_42363032/article/details/121951588?spm=1001.2014.3001.5501 # coding:utf-8 # @Email: wangguisen@infinities.com.cn # @Time: 2022/1/5 5:00 下午 # @File: ctr_DIN.py ''' DIN ''' import numpy as np import tensorfl
Sunny.Xia的深度学习(二)DIN深度兴趣网络笔记及源码解析
sunny_xsc1994的专栏
09-19 542
本专栏文章会在本博客和知乎专栏——Sunny.Xia的深度学习同步更新，对于评论博主若未能够及时回复的，可以知乎私信。未经本人允许，请勿转载，谢谢。 一、什么是DIN？ DIN全称为deep interest network，在网络中引入了注意力机制，本质上可以理解为weighted-sum pooling。通过权重的方式，将用户兴趣的多样性以及当前候选商品仅与用户一部分兴趣有关这一特点考虑了进来。建议大家去看一下论文原文，此外博主还参考了下面三篇博客。文章内容侧重点各不相同，大家可以综合看看以便加深理
论文笔记（五十七）Diffusion Model Predictive Control
xzs1210652636的博客
11-27 1538
我们提出了一种新颖的MPC方法——扩散模型预测控制（D-MPC），该方法学习了一个多步骤的动作提议和一个多步骤的动力学模型，两者都使用扩散模型，并将它们结合起来用于在线MPC。在流行的D4RL基准测试上，我们展示了明显优于现有基于模型的离线规划方法使用MPC的性能，并与最先进的（SOTA）基于模型和无模型的强化学习方法竞争。我们还展示了D-MPC在运行时优化新奖励函数和适应新动力学的能力，并突出了与现有基于扩散的规划基线相比的优势。
【学习笔记6】论文SQLfuse: Enhancing Text-to-SQL Performance through Comprehensive LLM Synergy
qq_51700285的博客
08-13 1707
Text-to-SQL 转换是一项关键创新，简化了从复杂 SQL 语句到直观自然语言查询的转换，尤其在 SQL 在各类岗位中广泛应用的情况下，这一创新显得尤为重要。随着 GPT-3.5 和 GPT-4 等大型语言模型（LLMs）的兴起，这一领域得到了极大的推动，提供了更好的自然语言理解能力和生成细致入微的 SQL 语句的能力。然而，在 Text-to-SQL 应用中，开源 LLMs 的潜力尚未得到充分挖掘，许多框架未能充分利用其能力，特别是在处理复杂数据库查询和结合反馈进行迭代优化方面。
DIN的问题归纳
l491899327的博客
08-23 1928
DIN的问题归纳 为什么DIN中采用attention？ 注意力机制顾名思义，就是模型在预测的时候，对用户不同行为的注意力是不一样的，“相关”的行为历史看重一些，“不相关”的历史甚至可以忽略。 首先，我们会得到一个用户的行为序列listing， 如果按照之前的做法，我们会一碗水端平的考虑所有行为记录的影响，对应到模型中就是我们会用一个average pooling层把用户交互 过的所有商品的embedding vector平均一下形成这个用户的user vector，机灵一点的工程师最多加一个time
阿里兴趣网络DIN网络中几个关键的点(三)
yifu0121
09-01 2540
总述：博主前些天对DIN网络进行了论文翻译，在翻译后，又对源码进行了研究，最后将DIN网络的重点进行了归纳，可以总结出这样几个关键点来 1：DIN中的attention方法：利用本地激活层，用于自适应学习用户的历史兴趣和当前要预估的item的权重 2：评价指标：gauc 3：Dice激活函数：数据自使用激活函数，类似于prelu 4：自适应正则：改变了以往l2正则需要耗费大量计算资源的现状......
基于深度学习的胸部 X 光图像肺炎分类系统（二）
最新发布
wh_xia_jun的专栏
07-24 443
不是固定公式：没有 “必须 21 层” 的规定，就像盖房子，3 层能住，5 层也能住，看需求。经验为主：人们发现处理这类 X 光片（中等复杂度的图片），用 4 个卷积块（16 层）+ 简单分类器（5 层）比较合适：少于 10 层：可能 “看不透” 细节（比如小的肺炎阴影抓不到）。多于 30 层：电脑要算很久，还可能 “想太多”（把正常的纹理当成肺炎特征）。试出来的：程序员可能一开始试了 10 层，发现效果不好（漏诊多）；又试了 30 层，发现太慢还容易错；最后调到 21 层，效果和效率比较平衡。
卷积神经网络中的注意力机制：CBAM详解与实践
wyy202206174248的博客
07-21 927
注意力机制源于人类视觉系统的工作方式 - 我们不会同时处理视野中的所有信息，而是选择性地聚焦于重要部分。在深度学习中，注意力机制通过动态调整特征图中不同位置或通道的重要性，使模型能够关注更有信息量的区域。CBAM作为一种简单有效的注意力机制，通过顺序应用通道和空间注意力模块，显著提升了CNN模型的性能。本文详细介绍了CBAM的原理、PyTorch实现方法以及在不同任务中的应用方式。实验表明，CBAM能够以较小的计算代价带来明显的性能提升。未来发展方向：更高效的注意力计算方式。
CNN实战案例：从图像识别到医疗诊断
keny-大成的博客
07-23 966
本文介绍了基于SpringBoot与CNN（卷积神经网络）的30个应用实例，涵盖图像识别、医疗诊断和工业检测等领域。主要内容包括：1）典型应用场景如MNIST手写识别、医疗影像分析等，提供关键代码示例；2）CNN核心组件（卷积层、池化层等）和工作原理；3）经典网络架构如LeNet、ResNet；4）模型部署方案与性能优化技巧。文章强调从基础示例入手，结合实际需求调整模型架构，为开发者提供完整的CNN应用实现参考方案。
卷积神经网络：模型评估标准
m53421的博客
07-23 539
真正例率（TPR，又称灵敏度、召回率）真实正例中被正确预测为正例的比例，反映模型对正例的识别能力。假正例率（FPR，又称 1 - 特异度）真实负例中被错误预测为正例的比例，反映模型的误判率。（注：TP、TN、FP、FN 的定义见混淆矩阵相关内容）
【CNN】LeNet网络架构
2302_77326347的博客
07-23 437
LeNet-5模型是由杨立昆（Yann LeCun）教授于1998年在论文Gradient-Based Learning Applied to Document Recognition中提出的，是一种用于手写体字符识别的非常高效的卷积神经网络，其实现过程如下图所示。原论文的经典的LeNet-5网络结构如下：各个结构作用：卷积层：提取特征图的特征，浅层的卷积提取的是一些纹路、轮廓等浅层的空间特征，对于深层的卷积，可以提取出深层次的空间特征。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值