论文阅读——CT4Rec Simple yet Effective Consistency Training for Sequential Recommendation

论文阅读——CT4Rec: Simple yet Effective Consistency Training for Sequential Recommendation

摘要

顺序推荐方法在尖端推荐系统中变得越来越重要。通过利用历史记录，系统可以捕获用户兴趣并相应地执行推荐。最近提出的最先进的顺序推荐模型结合了对比学习技术来获得高质量的用户表示。虽然有效且性能良好，但基于对比学习的模型需要仔细选择数据增强方法和借口任务、高效的负采样策略和大量的超参数验证。在本文中，我们提出了一种超简单的替代方案，用于获得更好的用户表示并提高顺序推荐性能。具体来说，我们提出了一种简单而有效的顺序推荐一致性训练方法（CT4Rec），其中仅使用两个额外的训练目标，而无需任何结构修改和数据增强。对三个基准数据集和一个新爬取的大型工业语料库的实验表明，我们提出的方法大大优于 SOTA 模型，并且与基于对比学习的方法相比，训练时间要少得多。现实世界内容推荐系统的在线评价也实现了点击率提升2.717%，人均点击次数提升3.679%。进一步的探索表明，这种简单的方法在点击率预测方面具有巨大的潜力。我们的代码可在 https://github.com/ct4rec/CT4Rec.git 获取。

1 INTRODUCTION

背景介绍了一下，DNN $\to$ RNN-Basd $\to$ CNN $\to$ GNN $\to$ multi-head self-attention $\to$ self-supervised learning strategies $\to$ contrastive learning(CL)[data augmentation strategies and cooperating with the vanilla sequential prediction objective]

贡献：

• 为顺序推荐系统提出了一种简单（只有两个双向KL 损失）但非常有效的一致性训练方法。据我们所知，这是第一个从不同角度、统一训练目标对顺序推荐任务深入研究一致性训练效果的工作。
• 提出的一致性训练方法可以轻松扩展到其他不一致场景和任务，例如数据增强和点击率预测。
• 对四个离线数据集的广泛实验表明，我们提出的 CT4Rec 相对于基于对比学习的 SOTA 模型的有效性，具有更好的性能和更快的收敛时间。在线 A/B 测试还显示出相对于强集成模型的显着改进。

3 THE CT4REC MODEL

3.1 Backbone Model

文章将方法应用在SASRec模型上。

相似度分布：
$$\mathcal{P}(s_{u,t};w)=\frac{\exp (s_{u,t}{v}_{t+1}^{+})}{\exp (s_{u,t}{v}_{t+1}^{+})+{\sum }_{v_{t+1}^{-}\in \mathcal{V}}\exp (s_{u,t}{v}_{t+1}^{-})}\text{\hspace{1em}(1)}$$

$${\mathcal{L}}_{basi}$$