BST行为序列Transformer模型

导读

阿里Qiwei Chen等人在2019年5月发表的论文《Behavior sequence transformer for e-commerce recommendation in Alibaba》，创造性地将Transformer模型应用于用户行为序列数据，开创了在用户数据上使用Transformer模型的新方向。特此将BST论文全文翻译，总共6107字，以供大家参考和学习。

摘要

基于深度学习的方法已广泛应用于工业推荐系统（RSs）。以前的工作采用了embedding&多层感知器（MLP）范式：原始特征被embedding到低维向量中，然后这些向量被送入MLP以得出最终的推荐。然而，这些工作中的大多数只是简单地连接不同的特征，忽略了用户行为的序列特性。在本文中，我们提议使用强大的Transformer模型来捕捉用户行为序列背后的序列信号，以便在阿里巴巴进行推荐。实验结果证明了所提出模型的优越性，随后该模型在淘宝线上部署，并与两个基线相比，在线上点击率（CTR）方面取得了显著的改进。

1. 引言

在过去十年中，推荐系统（RSs）已成为工业界最受欢迎的应用，在过去五年中，基于深度学习的方法已在工业RSs中得到广泛应用，例如谷歌[2, 3]和爱彼迎[5]。在中国最大的电子商务平台阿里巴巴，RSs一直是其总商品交易额（GMV）和收入的关键引擎，并且在丰富的电子商务场景中部署了各种基于深度学习的推荐方法[1, 8, 10, 11, 14, 15, 17, 18]。正如[15]中介绍的，阿里巴巴的RSs是两阶段管道：匹配和排名。在匹配阶段，根据用户交互的项目选择一组相似的项目，然后学习一个微调的预测模型，以预测用户点击给定候选项目集的概率。

在本文中，我们专注于阿里巴巴旗下的中国最大的消费者对消费者（C2C）平台淘宝的排名阶段，在这里我们有数百万候选项目，我们需要预测用户根据其历史行为点击候选项目的概率。在深度学习时代，embedding和MLP已成为工业RSs的标准范式：大量的原始特征被embedding到低维空间作为向量，然后输入到全连接层，即多层感知器（MLP），以预测用户是否会点击项目。代表性的工作有谷歌的宽深学习（WDL）网络[2]和阿里巴巴的深度兴趣网络（DIN）[17]。

在淘宝，我们在WDL的基础上构建排名模型，其中embedding&MLP范式使用了各种特征，例如项目的类别和品牌、项目的统计数字或用户配置文件特征。尽管这个框架取得了成功，但由于它忽略了实践中的一种非常重要的信号，即用户行为序列中的顺序信号，即用户按顺序点击的项目，因此它本质上远非令人满意。实际上，为了预测用户的后续点击，顺序是重要的。

例如，一个用户在淘宝购买了iPhone后，往往会点击一个手机壳，或者在购买了一条裤子后尝试寻找合适的鞋子。从这个意义上说，当在淘宝的排名阶段部署预测模型时，不考虑这个因素是有问题的。在WDL[2]中，他们简单地连接了所有特征，而没有捕获用户行为序列中的顺序信息。在DIN[17]中，他们提出了使用注意力机制来捕获候选项目与用户之前点击的项目之间的相似性，但没有考虑用户行为序列背后的顺序特性。

因此，在这项工作中，为了解决WDL和DIN所面临的问题，我们试图将用户行为序列的顺序信号纳入淘宝的RS。受到Transformer在自然语言处理（NLP）中机器翻译任务中取得巨大成功的启发[4, 13]，我们应用自注意力机制通过考虑embedding阶段的顺序信息，为用户行为序列中的每个项目学习更好的表示，然后输入MLPs以预测用户对候选项目的响应。Transformer的关键优势在于，它可以通过自注意力机制更好地捕获句子中的单词之间的依赖关系，直观地说，用户行为序列中项目的“依赖关系”也可以通过Transformer提取。因此，我们提出了用户行为序列Transformer（BST）用于淘宝的电子商务推荐。线下实验