小红书信息流推荐多样性解决方案

原创

已于 2022-05-19 18:39:44 修改 · 1.5k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#推荐算法

于 2022-05-19 18:02:11 首次发布

小红书研究团队提出了滑动频谱分解（SSD）方法，以提升信息流推荐的多样性。SSD通过用户浏览序列的Tensor分解，结合质量与多样性，优化推荐体验。实验表明，SSD在保持用户互动和多样性之间取得了良好平衡，且在线A/B测试中取得积极效果。此外，还介绍了Content-based to Collaborative Filter（CB2CF）方法，以预估协同过滤结果，提高新内容和长尾兴趣的推荐质量。

文末有彩蛋，不要错过~

摘要：

来自小红书的研究者在多样化推荐中，从用户体验和系统应用的视角出发，提出了一种滑动频谱分解（SSD）的方法，该方法可以捕捉用户在浏览长序列时对多样性的感知。通过理论分析、离线实验和在线 A/B 测试，验证了该方法的有效性。

背景：

多样化的推荐（diversified recommendation）是推荐系统中一个重要的课题。从用户视角看，多样性（diversity）可以帮助他们扩展和发现新的兴趣，扎堆的内容则会令他们厌倦。从平台视角看，多样性可以帮助系统探索用户的喜好，防止越推越窄的情况，同时也可以让小众和长尾的内容得到曝光，促进发布生态。

小红书是一个拥有2亿月活用户的社区产品，在APP首页，我们以“发现Explore”来定义信息流推荐的场景，希望这个场景能够帮助用户发现感兴趣的内容，抑或是找到新的兴趣。在“发现”这一目标的驱动下，多样化的推荐（diversified recommendation）显得尤为重要。从算法角度来看，我们认为它由以下三个要素组成：质量（Quality）、多样性（Diversity）和公平性（Fairness）。

本文介绍的工作，也是小红书发表于KDD21的Sliding Spectrum Decomposition for Diversified Recommendation [1]一文，试图在信息流场景下研究多样性及其关联的问题。在信息流场景下，用户可以在Feed中进行持续的浏览，这会形成一个很长的浏览序列，另外受限于手机屏幕的大小以及短时记忆的影响，“窗口大小”也关乎浏览体验。

从第一性原理出发，我们试图从用户视角来理解这个问题。想象自己作为一台浏览机器，刷信息流就像是在观测一个一维的时间序列，每个时刻对应一篇Item。那如何描述序列中蕴含的多样性呢？不妨以经典时间序列分析中的价格波动为例，若定价由经营成本、季节因素和噪声三个独立的部分组成，如下图所示，那么分解的过程就是研究价格变化的关键。类比到推荐场景，如果我们能将Item序列分解成几个独立的部分，或许就能得到较好的多样性衡量。