Optimization Methods for Personalizing Large Language Models through Retrieval Augmentation

本文是LLM系列文章，针对《Optimization Methods for Personalizing Large Language Models
through Retrieval Augmentation》的翻译。

摘要

本文研究了用于个性化大型语言模型（LLM）的检索增强方法，这些方法可能对各种应用和领域产生重大影响。我们首次尝试优化检索模型，将有限数量的个人文档传递给大型语言模型，以实现个性化生成。我们开发了两种优化算法，从下游的个性化生成任务中征求反馈以进行检索优化——一种基于强化学习，其奖励函数是使用任何任意的个性化生成度量来定义的，另一种基于从下游LLM到检索模型的知识蒸馏。本文还介绍了一种生成前和生成后的检索器选择模型，该模型决定了为每个LLM输入选择什么检索器。对语言模型个性化（LaMP）基准的不同任务进行的广泛实验表明，七个数据集中有六个数据集在统计上有显著改善。

1 引言

2 相关工作

3 符号和任务定义

4 学习检索以个性化LLMS

5 个性化LLMS的检索模型选择

6 实验

7 结论和未来工作

本文通过检索增强管道探索了LLM的个性化，重点是优化检索组件。我们介绍了两种通过从语言模型中征求个性化反馈来优化排名模型的解决方案，一