Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents

本文是LLM系列文章，针对《Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents》的翻译。

摘要

大型语言模型（LLM）在包括搜索引擎在内的各种与语言相关的任务中表现出了显著的零样本泛化。然而，现有的工作利用LLM的生成能力进行信息检索（IR），而不是直接的段落排名。LLM的预训练目标和排名目标之间的差异提出了另一个挑战。在本文中，我们首先研究了生成LLM，如ChatGPT和GPT-4，用于IR中的相关性排序。令人惊讶的是，我们的实验表明，在流行的IR基准上，正确指导的LLM可以提供比最先进的监督方法更具竞争力甚至更优的结果。此外，为了解决LLM数据污染的问题，我们基于最新知识收集了一个名为NovelEval的新测试集，旨在验证模型对未知知识进行排序的能力。最后，为了提高现实世界应用程序的效率，我们深入研究了使用排列蒸馏方案将ChatGPT的排名能力蒸馏到小型专业模型中的潜力。我们的评估结果表明，在BEIR基准上，提取的440M模型优于3B监督模型。重现我们结果的代码可在www.github.com/sunnweiwei/RankGPT上获得。