CURATRON: Complete Robust Preference Data for Robust Alignment of Large Language Models

本文是LLM系列文章，针对《CURATRON: Complete Robust Preference Data for Robust Alignment of Large Language Models》的翻译。

摘要

本文通过偏好学习（PL）解决了将大型语言模型（LLM）与人类价值观相一致的挑战，重点关注偏好数据集中数据的不完整和损坏问题。我们提出了一种新的方法，用于稳健和完全地重新校准这些数据集中的值，以增强LLM对这些问题的抵御能力。特别是，我们设计了一种保证多项式时间排序算法，该算法对现有的几个模型具有鲁棒性，例如经典的Bradley–Terry–Luce（BTL）模型及其某些推广。据我们所知，我们目前的工作是第一个提出一种算法，可以证明以高概率恢复最优排序，同时允许每个模型响应有多达 O ( n ) \mathcal{O}(n)