【序列推荐】 RETR：Recommender Transformers with Behavior Pathways

原创

已于 2023-10-31 15:37:37 修改 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能

于 2022-11-04 22:26:55 首次发布

提出RETR模型，一种改进的Transformer，用于序列推荐任务。通过动态规划用户行为路径，有效过滤无关行为，提高推荐准确性。

#论文题目：【序列推荐】RETR：Recommender Transformers with Behavior Pathways（RETR：具有行为路径的推荐transformer）
#论文地址：https://arxiv.org/abs/2206.06804
#论文源码开源地址：暂无
#论文所属会议：ICKM 2022
#论文所属单位：清华大学软院、阿里巴巴
在这里插入图片描述

一、摘要/挑战

序列推荐中，只有一小部分关键行为可以演变成用户未来的行为；不同的用户有其独特的行为路径；然而传统的DIN/DIEN/Transformer等无法摆脱其他无关行为带来的负面影响，使得最终的预测被每个用户的琐碎行为所淹没；SIM可以从一定程度上解决该问题，但是仍然不够soft。

但是：

本次仅仅是一个对序列小的局部模块的创新，简单新颖；
对比Base实验2018年SASRec和2019年BERT4Rec，对比实验不够新且距离落地有差异，把工业场景中的大量连续统计、交叉特征全部隐藏或去除了

传统做法的弊端：

序列推荐要求推荐者从记录的用户行为数据中获取不断变化的行为特征，以便进行准确的推荐。然而，用户行为序列被视为一个多个正在进行的线交织在一起组成的路径。我们发现，只有一小部分关键行为可以演变成用户未来的行为。

因此，用户未来的行为很难预测。我们将每个用户连续行为的这一特征归纳为行为路径。不同的用户有其独特的行为路径。在已有的序列模型中，transformer在捕获全局相关特征方面表现出了很大的能力，所以此模型是在传统Transformer上进行改进的。
然而，已有的模型们主要是利用自我注意机制在所有之前的行为上提供一个密集的分布，使得最终的预测被没有调整到每个用户的琐碎行为所淹没（可以看成是引入了琐碎行为的噪声）

为了表明上述弊端是真实存在的，作者针对现阶段传统序列中总结出了三种范式：有关系的行为路径、偶然行为途径、漂移行为路径。
在这里插入图片描述
3. correlated behavior pathway: 用户的行为路径与特定时期的行为密切相关；比如，最近鼠标被点击了很多次，导致最终决定购买鼠标。
4. casual behavior pathway: 用户的行为路径是在休闲时间对特定物品感兴趣；比如，背包按顺序随机点击。
5. drifted behavior pathway: 用户在特定品牌中的行为路径可能会随着时间的推移而变化; 比如，用户最初对键盘感兴趣，但突然间对购买手机产生了兴趣。