【学习总结】基于注意力机制的推荐模型在注意些什么?

本文总结了注意力机制在推荐模型中的应用,包括AFM、DIN、STAMP和MIND等模型,探讨了如何利用注意力机制区分特征交互重要性、提取用户兴趣。同时介绍了基于自注意力机制的SASRec、AttRec和BST模型,阐述它们如何捕获序列信息和短期意图。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言

在计算能力有限的情况下,「注意力机制(AttentionMechanism)」 作为一种资源分配方案,将有限的计算资源用来处理更重要的信心,是解决信息超载问题的主要手段。                         ----《神经网络与深度学习》[1]

注意力机制在很多推荐模型中得到了广泛的应用,例如AFM、DIN、DIEN等。另外结合自注意力机制,NLP中也出现了Transformer、Bert模型,对应的推荐模型也有SASRec、BST、BERT4Rec等模型。本文结合部分论文,对其中的注意力机制部分进行了总结。
本文约4.5k字,预计阅读15分钟。

注意力机制概述

表示 组输入信息,其中 维向量 表示一组输入的信息(向量)。注意力机制的计算可以分为两步:

  1. 在所有输入信息上计算「注意力分布」

  2. 根据注意力分布来计算输入信息的加权平均;

「注意力分布:」

为了从 个输入向量 中选择出和某个特定任务相关的信息,需要引入一个和任务相关的表示,即「查询向量 ,通过一个打分函数来计算「每个输入向量和查询向量之间的相关性」

给定一个和任务相关的查询量量 ,用注意力变量 来表示被选择信息的索引位置,即 表示选择了第 个输入向量。首先计算在给定 下,选择第 个输入向量的概率

称为「注意力分布」,也可以说是在给定任务相关的查询 时,第 个输入向量受关注的程度。 为注意力打分函数,主要包括:

  1. 加性模型:

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值