＜论文＞自注意力序列推荐模型SASRec

一、摘要

        本文介绍2018年的一篇推荐领域经典论文《Self-Attentive Sequential Recommendation》，这篇论文借鉴了当时大热的Transformer架构，在推荐模型中融入自注意力机制，提出了SASRec模型。

译文：

        序列动态是许多现代推荐系统的一个关键特征，这些系统试图根据用户最近执行的操作来捕捉其活动的 “上下文”。为了捕捉这种模式，两种方法得到了广泛应用：马尔可夫链（MCs）和循环神经网络（RNNs）。马尔可夫链假设可以仅根据用户的最后一个（或最后几个）操作来预测其下一个操作，而循环神经网络原则上可以揭示更长期的语义。一般来说，基于马尔可夫链的方法在极其稀疏的数据集上表现最佳，在这种数据集中模型的简洁性至关重要，而循环神经网络在更密集的数据集上表现更好，在这种数据集中更高的模型复杂度是可以接受的。我们工作的目标是平衡这两个目标，提出一种基于自注意力的序列模型（SASRec），它使我们能够捕捉长期语义（类似于循环神经网络），但通过使用注意力机制，基于相对较少的操作进行预测（类似于马尔可夫链）。在每个时间步，SASRec试图从用户的操作历史中识别哪些项目是 “相关的”，并利用它们来预测下一个项目。大量实证研究表明，我们的方法在稀疏和密集数据集上均优于各种最先进的序列模型（包括基于MC/CNN/RNN的方法）。此外，该模型比类似的基于CNN/RNN的模型效率高出一个数量级。注意力权重的可视化也展示了我们的模型如何自适应地处理不同密度的数