Next Item Recommendation with Self-Attention

摘要

我们的模型利用自我注意机制从用户的历史交互中推断出项目与项目之间的关系_{有了self-attention，用户互动轨迹中每个项目的权重就能更好地代表用户的兴趣。}
模型最后使用metric learning 框架进行训练，既考虑了短期特征又考虑了长期特征。我们的模型采用度量学习框架的形式，在该框架中，用户的自出席表示与预期(金色)项之间的距离在训练期间被拉近。

模型

我们的模型包括self-attention模型来对用户的短期意图进行建模，也包括协同度量学习模型来对用户的长期特征进行建模。

使用self-attention 对短期特征进行建模

z

在我们的文章中，所有三个部分 query,key,value是相同的，由用户的交互历史组成。

假设用户的短期特征可以从它的最近L个行为中反应出来。假设每个商品可以表达为一个d维的embedding 向量。让X∈RN×d表示整个项目集的嵌入表示。最近的L个商品堆积在一起得到以下的矩阵。

在这里，最近的L个item是Hu的子集，query等都等于Xut

第一：我们先讲query和key通过非线性转换共享参数 将query映射到相同