HELPSTEER2-PREFERENCE: COMPLEMENTING RATINGS WITH PREFERENCES

本文是LLM系列文章，针对《HELPSTEER2-PREFERENCE: COMPLEMENTING RATINGS WITH PREFERENCES》的翻译。

摘要

奖励模型对于使模型符合说明至关重要，通常按照两种流行的范式之一进行训练：Bradley Terry风格或回归风格。然而，缺乏证据表明，当数据充分匹配时，这两种方法都比另一种方法好。这主要是因为这些方法需要以不同（但不兼容）的格式收集数据，这意味着现有的公共数据集中没有足够匹配的数据。为了解决这个问题，我们发布了偏好注释（专为Bradley Terry训练设计），以补充HelpSteer2数据集中的现有评级（专为回归风格训练设计）。为了提高数据的可解释性，偏好注释伴随着人工编写的理由。使用这些数据，当数据充分匹配时，我们对Bradley Terry和回归模型进行了第一次面对面比较。基于这种比较得出的见解，我们提出了一种将Bradley Terry和回归奖励建模相结合的新方法。采用这种方法调整的Llama-3.1-70B-Instruct模型在RewardBench上的得分为94.1，截至2024年10月1日，该模型在140多种奖励模型中名列前茅。我们还证明了这种奖励模型在调整模型以遵循RLHF中的指示方面的有效性。我们将此数据集（CC-BY-4.0许可证）开源于https://huggingface.co/datasets/nvidia/HelpSteer2并公开发布经过训练的奖励模型https://huggingface.co/nvidia/Llama-3.1-Nemo