Zephyr: Direct Distillation of LM Alignment

本文是LLM系列文章，针对《Zephyr: Direct Distillation of LM Alignment》的翻译。

摘要

我们的目标是生成一个符合用户意图的较小的语言模型。先前的研究表明，在较大的模型上应用蒸馏监督微调（dSFT）可以显著提高任务的准确性；然而，这些模型是不一致的，即它们对自然提示的响应不好。为了蒸馏这一特性，我们使用来自人工智能反馈（AIF）的偏好数据进行了实验。从教师模型排序的输出数据集开始，我们应用蒸馏的直接偏好优化（dDPO）来学习具有显著改进的意图对齐的聊天模型。该方法只需要几个小时的训练，在微调过程中不需要任何额外的采样。最终结果ZEPHYR7B为7B参数模型设置了一个新的最先进的聊天基准，并且不需要人工注释。特别是，MT Bench上的结果表明，ZEPHYR-7B超过了基于RLHF的最佳开放接入模型LLAMA2-CHAT-70B。系统的代码、模型、数据和教程可在https://github.com/huggingface/alignment-handbook上找到.

1 引言

2 相关工作

3 方法

4 实验细节

5 结果和消融实验

6 结论和局限性

我们考虑了从LLM到较小预训练模型的比对蒸馏问题。该方法避免使用基于采样的方法，如拒绝采样或PPO，并从人工智能反馈数据集中蒸馏具有直接偏好优化（DPO）的会话能力。基