1、Attention_based Group recommendation——基于注意力机制的群组推荐

本文介绍了一种结合Attention机制与BPR模型的群组推荐方法,通过计算群组内用户间的注意力权重来形成群组偏好,并利用BPR进行个性化推荐。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

1、摘要:

本文将Attention-based模型和BPR模型结合对给定的群组进行推荐项目列表。

2、算法思想:

如图:

attention-based model:【以下仅计算一个群组的偏好,多个群组计算过程一样】

① 群组:      以上为n个子群组,来自于一个给定的群组,包含用户 { u1,u2,u3,……,un },

② α i,j : 定义α i,j 为用户 j 的子群组 i (不包含用户 i )的偏好程度。因为 α i,j 作为用户 j 对整个群组的重要程度,而不仅仅是对用户 i 。

③ c : 表示用户 i 的上下文向量

可以将以上每个attention模型理解成群组中其他成员 j 分别与用户 i 的相似度,即(α i,j ),得到的 g i = ∑ α i,j * u j 是用户 i 在整个群组中的投票权重。

④ g :  g = ∑ g, 表示投票方案对所有用户的投票平等的进行计算。

蓝色的Attention model中的函数:(即 ci 和 ui 结合的函数)

 

对其归一化处理:

然后计算群组的潜在向量:

 

 

BPR:

传统的BPR是根据单个用户对项目的偏序进行计算用户偏好来个性化推荐。

这里将Attention模型和BPR结合得到的是群组的偏好,即一个群组看成一个用户。

传统的BPR目标函数:

其中,δ 是激活函数 ,x u,i 表示用户 u 对 项目 i 的偏好程度。x u,i - x u ,j 大于0,因为BPR的输入:三元组(u,i,j)的意思是:用户u 对项目 i 的偏好程度比 j 大。正则化项:θ 是参数,这里的参数矩阵分解: 将X分解成  x = p* q ,p 和 q 为参数。故可以以上目标函数可以写成:

 

在本文目标函数:

 

其中:

为attention得到的最终结果 gT

U,C,I:用户潜在向量,用户上下文向量和项目向量的集合。都为参数。

(g , j , k):属于集合Ds的三元组,包含每个群组的所有正项和负项对。

α i,l :用户 l 在子群组 i 的权重。

 

两个模型的总结:

采用attention计算群组的潜在向量,然后利用组的潜在向量 作为 群组的潜在特征 ,将群组的潜在特征和项目的潜在特征相乘作为整个群组对项目的偏好程度。如矩阵分解:X= W*H,则 Attention 算出 W,与项目特征H相乘(H是要计算的参数),X就是群组对项目的偏好程度,可以用来做推荐。

 

3、实验:

(1)数据集:

①来自于基于事件的社交网络 EBSN的数据:Plancast2。由用户组和地点组成。eg:事件A组:事件中每个用户都是组成员。小组成员将选择一个场地(候选项目)来主持比赛。我们的目标是推荐一个团体活动的场地。

②从EBSN Meetup3中爬取的数据。目的也是给一个给定的团体推荐一个举办活动的场所。

③来自于MovieLens 1M Data4,Miviels1m数据包含约一百万部电影评级,来自约6000部用户,约4000部电影。

从MOVILELNS 1M数据中提取两个数据集:Mivieles Simi和Mivieles Rand。当MovieLens-Simi数据中的用户具有较高的内部组相似性时,它们被分配到相同的组中,而MovieLens-Rand数据中的用户被随机分组。

因此,MovieLens-Simi和MovieLens-Rands组类似于两个典型的现实生活情况:组可以包括具有相似偏好的人,也可以包括不相关的人之间的形式。例如,一组亲密的朋友具有较高的内部组相似性,而同一辆车上的人可以被认为是随机组。

 

(2)评价指标:准确度、召回率、NDCG

(3)六种基线推荐方法:

CF-AVG、CF-LM、CF-RD、PIT、COM、MF-AVG。

CF-AVG、CF-LM、CF-RD是得分聚合方法,PIT和COM是最新的概率模型,MF-AVG是矩阵分解模型。

  •  基于用户的平均策略CF(CF-AVG):CF-AVG应用基于用户的CF来计算每个用户对候选项i的偏好评分,然后对所有用户的偏好评分进行平均,以获得项i的组推荐评分。             
  • 基于用户的最小痛苦策略CF(CF-LM):与CF-AVG类似,CF-LM首先应用基于用户的CF来计算每个用户关于候选项i的得分。然而,项目i的推荐得分被看作所有用户中项目的最低偏好得分。             
  • 基于用户的关联和不同意策略(CF-RD)[3]:CF-RD还执行基于用户的CF来计算每个用户关于候选项i的分数。相关性得分是使用CF-AVG或CF-LM获得的,而分歧得分是项目在组成员之间的平均成对相关性差异(平均成对分歧方法),或项目在组成员之间的相关性的数学方差(t他不同意方差法。             
  • 个人影响主题模型(PIT)〔19〕:PIT是作者主题模型。假设每个用户具有代表用户对组最终决策的影响的影响权重,PIT选择具有较大影响分数的用户作为组的代表。然后,选择的用户根据她的偏好选择主题,然后主题生成该组的推荐项目。             
  • 共识模型(COM)[38]:COM依赖于两个假设:(1)个人影响是话题相关的,和(2)群体的话题偏好和个人的偏好都影响最终的群体决策。第一个假设允许COM从群体话题和主题用户分布中导出与主题相关的个人影响。第二种假设允许COM聚合组的话题偏好和个人对用户个人变量的权重的主观偏好。             
  • 平均矩阵分解(MF-AVG):MF-AVG是一个矩阵分解模型。MF-AVG将所有成员的项目的平均得分作为项目的组推荐分数。因此,MF AVG认为所有的个人影响权重相等,假设所有成员对团体的贡献相等。

 

转载于:https://www.cnblogs.com/Lee-yl/p/9628098.html

<think>好的,我现在需要帮用户找2023年后关于基于注意力机制推荐算法的研究进展和实现方案。首先,我得回忆一下自己知道的最近文献和趋势。用户提到的引用资料里,已经有一些相关的信息,比如群组推荐、特征融合、动作识别等,但这些都是之前的,用户需要2023年之后的进展。 首先,我应该考虑基于注意力机制推荐系统的最新方向。可能的方向有多模态融合、可解释性、动态建模等。然后,我需要确认这些方向在2023年之后是否有新的研究。比如,多模态推荐系统结合文本、图像、视频等,使用注意力机制来整合不同模态的信息,这可能是一个热点。 另外,用户提到的引用[1]是关于群组推荐的,所以可能最新的研究会在群体推荐中进一步优化注意力机制,比如考虑更复杂的群体动态或社交因素。还有可解释性方面,用户可能希望推荐结果更透明,所以注意力权重的可视化或生成解释可能是一个进展。 动态建模也是一个点,比如用户兴趣随时间变化,使用时间感知的注意力机制来捕捉这种变化。此外,结合大模型如GPT-4的提示工程,可能也是新趋势,比如引用[4]提到的调教AI和提示工程,可能推荐系统会利用这些大模型来生成更个性化的推荐。 实现方案方面,可能需要分步骤:数据预处理、注意力模块设计、模型训练优化等。比如使用Transformer架构,或者结合图神经网络和注意力机制来处理社交网络数据。 还要考虑用户可能需要具体的实现示例,比如代码结构或框架选择,如PyTorch或TensorFlow,以及如何集成注意力模块到现有推荐模型中。 需要确保回答的结构清晰,分研究进展和实现方案两部分,每个部分有子点,并引用提供的资料中的相关内容,比如引用[1]的群组推荐,引用[3]的特征提取和注意力结合,引用[4]的提示工程和大模型应用。 最后,生成相关问题,帮助用户深入理解,比如优化方法、评估指标、挑战等。要确保问题相关且有深度,能够引导用户进一步探索。</think>### 基于注意力机制推荐算法研究进展(2023年及之后) #### 一、核心研究方向与进展 1. **多模态融合推荐** 2023年后,结合文本、图像、视频等多模态数据的推荐算法成为热点。通过注意力机制动态加权不同模态特征,例如: - 使用跨模态注意力对齐用户行为与商品图文信息[^1] - 通过时空注意力融合短视频内容与用户观看序列 数学表达示例(特征融合): $$h_{\text{fused}} = \sum_{i=1}^n \alpha_i \cdot v_i \quad \text{其中} \ \alpha_i = \text{softmax}(W^T \tanh(U v_i))$$ 2. **群体推荐优化** 在群组推荐场景中,研究者提出分层注意力机制- 第一层捕捉个体偏好,第二层建模群体动态决策过程 - 引入对抗学习增强群体特征鲁棒性 3. **可解释性增强** 通过注意力权重可视化解释推荐逻辑: - 生成式注意力(如Transformer解码器)输出推荐理由文本[^4] - 基于因果推理的注意力修正,减少偏差放大 4. **动态兴趣建模** 结合时间序列分析: - 使用多头时间卷积注意力捕捉长短期兴趣漂移 - 图注意力网络(GAT)更新社交关系影响 --- #### 二、典型实现方案 1. **数据预处理** - 构建用户-物品交互图,提取节点特征 - 多模态数据对齐(如CLIP模型处理图文数据) 2. **注意力模块设计** ```python # 基于PyTorch的多头注意力示例 class MultiHeadAttention(nn.Module): def __init__(self, embed_size, heads): super().__init__() self.attention = nn.MultiheadAttention(embed_dim=embed_size, num_heads=heads) def forward(self, query, key, value): attn_output, _ = self.attention(query, key, value) return attn_output ``` 3. **模型架构创新** - **Hybrid Transformer-GNN**:结合图神经网络与Transformer - **Prompt-based Recommendation**:借鉴大模型提示工程[^4],如: $$P(y|u,i) = \text{softmax}(f_{\theta}(\text{Concat}[\text{Prompt}(u), \text{ItemEmb}(i)]))$$ 4. **训练优化** - 对比学习增强负采样效果 - 联邦学习框架下的分布式注意力训练 --- #### 三、关键挑战与对策 | 挑战 | 解决方案 | |-------|----------| | 数据稀疏性 | 元学习初始化注意力参数 | | 计算复杂度 | 局部敏感哈希(LSH)近似注意力 | | 冷启动问题 | 跨域注意力迁移学习 | ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值