Aligning Large Language Models for Controllable Recommendations

本文是LLM系列文章，针对《Aligning Large Language Models for Controllable Recommendations》的翻译。

摘要

受大型语言模型（LLM）非凡的通用智能的启发，研究人员已经开始探索其在开创下一代推荐系统中的应用——这些系统是对话的、可解释的和可控的。然而，现有文献主要集中在将特定领域的知识集成到LLM中以提高准确性，而往往忽视了遵循指令的能力。为了解决这一差距，我们最初引入了一组监督学习任务，并添加了来自传统推荐模型的标签，旨在明确提高LLM遵守推荐特定指令的熟练程度。随后，我们开发了一个基于强化学习的对齐程序，以进一步加强LLM在响应用户意图和减少格式错误方面的能力。通过在两个真实世界的数据集上进行广泛的实验，我们的方法显著提高了LLM遵守推荐系统中指令的能力，同时保持了高水平的准确性。

1 引言

2 方法

3 实验

4 相关工作

5 结论

总之，我们为推荐系统中的LLM引入了一种新的对齐方法，该方法显著增强了LLM遵循用户指令的能力，并减少了格式错误。通过将监督学习阶段与一套新的控制任务和用自定义奖励信号定制的强化学习阶段相结合，我们的方法有效地弥合了LLM能力与推荐任务的细微要求之间的差距。实验证实，我们的方法不仅优于现有的基于LLM的推荐系统，而且在可控和准确的推荐体验方面表现出了很好的能力。