CURATRON: Complete Robust Preference Data for Robust Alignment of Large Language Models

本文是LLM系列文章，针对《CURATRON: Complete Robust Preference Data for Robust Alignment of Large Language Models》的翻译。

摘要

本文通过偏好学习（PL）解决了将大型语言模型（LLM）与人类价值观相一致的挑战，重点关注偏好数据集中数据的不完整和损坏问题。我们提出了一种新的方法，用于稳健和完全地重新校准这些数据集中的值，以增强LLM对这些问题的抵御能力。特别是，我们设计了一种保证多项式时间排序算法，该算法对现有的几个模型具有鲁棒性，例如经典的Bradley–Terry–Luce（BTL）模型及其某些推广。据我们所知，我们目前的工作是第一个提出一种算法，可以证明以高概率恢复最优排序，同时允许每个模型响应有多达$\mathcal{O}(n)$的扰动成对比较结果。此外，我们在部分观察到的情况下显示了稳健的恢复结果。我们的实验证实，我们的算法在一般和LLM偏好数据集设置中都能很好地处理对抗性噪声和未观察到的比较。这项工作通过使数据集管理管道具备处理缺