Exploring the Upper Limits of Text-Based Collaborative Filtering Using Large Language Models

本文是LLM系列的文章，针对《Exploring the Upper Limits of Text-Based Collaborative Filtering Using Large Language Models: Discoveries and Insights》

摘要

基于文本的协同过滤（TCF）已成为文本和新闻推荐的主流方法，它利用文本编码器（也称为语言模型（LM））来表示项目。然而，现有的TCF模型主要侧重于使用中小型LMs。目前尚不确定用最大、最强大的LMs之一（如1750亿参数的GPT-3模型）取代项目编码器会对推荐性能产生什么影响。我们能期待前所未有的结果吗？为此，我们进行了一系列广泛的实验，旨在探索TCF范式的性能极限。具体来说，我们将项目编码器的大小从一亿增加到1000亿，以揭示TCF范式的缩放限制。然后，我们研究这些超大的LMs是否能够实现推荐任务的通用项目表示。此外，我们将利用最强大的LMs的TCF范式的性能与目前占主导地位的基于ID嵌入的范式进行了比较，并研究了这种TCF范型的可转移性。最后，我们将TCF与最近流行的使用ChatGPT的基于提示的推荐进行了比较。我们的研究结果不仅产生了积极的结果，还发现了一些令人惊讶和以前未知的负面结果，这可以激发人们对基于文本的推荐系统的更深层次的反思和创新思维。代码和数据集将发布以供进一步研究。

1 引言

2 背景

3 前言

4 实验设置