论文阅读——A Pre-trained Sequential Recommendation Framework Popularity Dynamics for Zero-shot Transfer

论文阅读——A Pre-trained Sequential Recommendation Framework: Popularity Dynamics for Zero-shot Transfer

’一个预训练的顺序推荐框架：零样本迁移的流行动态‘

摘要： 在在线应用的成功中，如电子商务、视频流媒体和社交媒体，顺序推荐系统是至关重要的。虽然模型架构不断改进，但对于每个新的应用领域，我们仍然需要从头开始训练一个新模型以获得高质量的推荐。另一方面，预训练的语言和视觉模型在零样本或少样本适应到新应用领域方面取得了巨大成功。受到同行AI领域预训练模型成功的启发，我们提出了一种新颖的预训练顺序推荐框架：PrepRec。我们通过建模项目流行动态来学习通用项目表示。通过对五个真实世界数据集进行广泛的实验证明，PrepRec在没有任何辅助信息的情况下不仅可以零样本迁移到新领域，而且在模型尺寸的一小部分的情况下，与最先进的顺序推荐模型相比，可以获得有竞争力的性能。此外，通过简单的事后插值，PrepRec在Recall@10方面可以平均提高现有顺序推荐系统的性能13.8%，在NDCG@10方面提高29.5%。我们提供了PrepRec的匿名实现，网址为：https: //anonymous.4open.science/r/PrepRec–2F60/ .

1 INTRODUCTION

提出问题： 我们能否构建一个无需任何辅助信息即可进行跨域和跨应用零样本迁移的预训练顺序推荐系统？ （例如，使用在美国接受在线购物训练的模型来预测印度用户将观看的下一部电影）。

与预训练的语言和视觉模型在数据集和应用程序中表现的出色通用性不同。在跨域推荐问题中，顺序推荐数据集中跨域的项目是不同的（例如，杂货商品与电影）。因此，如果我们学习每个域中每个项目的特定表示，形成这种可概括的对应关系几乎是不可能的。目前有研究借助辅助信息在同一类型应用程序中进行顺序推荐的预训练模型。

本文： 解决了零样本、跨域顺序推荐的挑战，无需任何辅助信息。

recent work in recommender systems suggests that the popularity dynamics of items are also crucial for predicting users’ behaviors

（项目的流行动态对于预测用户行为也至关重要）

受这个启发，作者提出了PrepRec。根据项目的受欢迎程度动态来表示项目，而不是其明确的ID。

模型学习：item popularity representations, timeinterval and positional encoding.(有交互的连续的编码)

贡献：

Universal item representations: We are the first to learn universal item representations for sequential recommendation. In contrast, prior research learns item representations for each item ID or through item auxiliary information. We learn universal item representations by exploiting item popularity dynamics. We learn two temporal representations using a transformer architecture with optimizations at any time 𝑡 for each item’s popularity: at a coarse and fine-grained level. We represent items’ popularity dynamics (i.e., representing popularity changes) by concatenating representations over a fixed time interval. Item dynamics are inferrable from the user-item interaction data, and thus, the learned item representations are transferable across domains and applications. These item representations make possible pre-trained sequential recommender systems capable of cross-domain and cross-application transfer without any auxiliary information.

Zero-shot transfer without auxiliary information: We propose a new challenging setting for pre-trained sequential recommender systems: zero-shot transfer without any auxiliary information. In contrast, previous works in sequential recommender systems capable of cross-domain zero-shot rely heavily on applicationdependent auxiliary information [7, 12, 18]. To the best of our knowledge, we are the first to tackle this challenging setting in sequential recommendation.

1、通用项目表示：区别于先前的工作（通过学习每个项目的ID和辅助信息来表示item），本文是第一个将通用项目表示用在序列推荐中的。作者通过挖掘项目流行度动态来学习通用项目表示。

2、无辅助信息的零样本传输：区别于先前需要大量辅助信息的跨领域零样本序列推荐系统，本文是第一个解决零样本传输不依靠辅助性息的研究。

2 RELATED WORK

1、序列推荐：介绍了发展史 $\Rightarrow$ 推出先前的工作没有考虑项目流行度统计的动态，也不能进行零样本顺序推荐。

2、推荐中的迁移学习：先前的工作：1）对信息丰富的领域来提高数据稀疏领域的推荐性能，假设用户和项目有重叠来实现知识迁移；2）关注冷启动问题，这些工作假设辅助信息可用，且只能解决单方面的冷启动问题（项目or用户）。本文的工作：专注于零样本传输问题，其中两个域中都没有可用的辅助信息。

3 PROBLEM DEFINITION

$M$ as the implicit feedback matrix

$U$ as the set of users

$V$$as the set of items

$F(v^t|S_u,M)$ as the scoring function

两个域：假设 $U\cup U^{\prime }=\varnothing$ and $V\cup V^{\prime }=\varnothing$

4 PREPREC FRAMEWORK

4.1 Model Architecture

4.1.1 Universal Item Representation encoder

$$a_j^t=\sum _t^{m=1}\gamma$$