BERT4Rec论文阅读笔记

论文地址：https://arxiv.org/abs/1904.06690

摘要

     通过用户的历史行为建模用户的动态兴趣偏好，对推荐系统来说，是具有挑战性且重要的。现有模型利用序列神经网络模型将用户的历史行为交互从左到右编码成隐含表示用做推荐。尽管他们的效果不错，我们认为这样从左到右的单向模型不是最优的，因为以下一些限制：a)单向架构限制了用户行为序列隐含表示的能力；b)它们经常假设一个严格有序的序列，并不总是切合实际。为了解决这些限制，我们提出了一个序列推荐模型（BERT4Rec），利用深度双向自注意力建模用户行为序列。为了避免信息遗漏和有效地训练双向模型，我们采用了填充目标式序列推荐，结合它们左右内容的条件来预测序列中随机标记的items。用这种方法，我们学习一个双向表示模型用做推荐，用户行为序列中的每个item都能融合它左右两边的信息。使用四个基准数据集进行扩展实验，结果表明我们的模型优于各种目前最优的序列模型。

本文要解决的问题

     用户动态行为序列对推荐系统是至关重要的，越来越多的序列模型被用来建模用户序列行为。但是它们普遍存在一个问题：网络都是单向的，并不能高效地学习用户序列行为信息。如下图中的（c）和（d）所示，它们对用户行为序列编码只能依赖序列的前置item，从而限制了模型的表示能力。第二个限制就是它们假设用户行为是一个严格有序的序列，但在实际应用中，这并不总是真的，用户历史行为中的顺序并不是严格有序的。
     为了解决以上两个问题，本文使用了双向序列模型建模用户序列行为。受到BERT模型的启发，本文运用深度双向自注意力模型建模序列推荐。本文的三个主要贡献是提出了使用双向自注意力网络和填充式任务建模用户行为序列。

本文模型

     问题申明：U={ u1,u2,...,u∣U∣}U=\{u_1,u_2,...,u_{|U|}\}U={ u1​,u2​,...,u∣U∣​}表示用户集，V={ v1,v2,...,v∣V∣}V=\{v_1,v_2,...,v_{|V|}\}V={ v1​,v2​,...,v∣V∣​}表示items集，Su={ v1(u),...,vt(u),...,vnu(u)}S_u=\{v_1^{(u)},...,v_t^{(u)},...,v_{n_u}^{(u)}\}Su​={ v1(u)​,...,vt(u)​,...,vnu​(u)​}表示用户的交互行为序列。建模：$$p(v_{n_u+}$$