当大型语言模型遇上信息检索评估：是颠覆还是革新？

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

本周精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain?f=cs

1.Generative Information Retrieval Evaluation

这篇论文的摘要讨论了生成式信息检索评估的两个相互关联的视角。首先，大规模语言模型（LLM）本身正在迅速成为评估工具，现有研究表明，LLM在基本的相关性判断任务上可能优于众包工人和其他付费评估员。我们回顾了过去和正在进行的相关研究，包括对TREC等共享任务计划的未来的猜测，以及对持续需要人工评估的讨论。其次，我们考虑了基于LLM的新兴生成式信息检索（GenIR）系统的评估，包括检索增强生成（RAG）系统。我们考虑了关注Ge