A Case Study on Sampling Strategies for Evaluating Neural Sequential Item Recommendation Models 阅读笔记

论文标题：A Case Study on Sampling Strategies for Evaluating Neural Sequential Item Recommendation Models

发表于：2021 RecSys

作者：Alexander Dallmann，Daniel Zoller，Andreas Hotho

代码：

论文地址：https://arxiv.org/pdf/2107.13045.pdf

摘要

• 顺序项目推荐模型是通过在小项目子集（目标集）上计算度量来比较的，以加快计算速度
• 目标集包含相关项目和从完整项目集中采样的一组负样本项目
• 两种负采样的策略是 均匀随机抽样 和 按流行度抽样 ，以更好地近似数据集中的项目频率分布。
• 最近的工作表明，采用均匀随机抽样的评估可能与全排名不一致，
  • 全排名：即以全项目集为目标集评估一个指标得到的模型排名，
  • 这就提出了通过流行度抽样获得的排名是否等于完整排名的问题
• 文章中从这些采样策略是否对模型的最终排名产生影响的角度重新评估了当前最先进的顺序推荐模型
  • 对于每个数据集和模型，采用三种评估策略
    • 首先，计算完整的模型排名
    • 然后，评估通过两种不同采样策略（均匀随机采样和流行度采样）采样的目标集上的所有模型，计算每个策略的模型排名并相互比较
      • 常用的目标集大小为 100，
    • 改变了采样目标集的大小