Shepherd: A Critic for Language Model Generation

本文是LLM系列的相关文章，针对《Shepherd: A Critic for Language Model Generation》的翻译。

摘要

随着大型语言模型的改进，人们对利用这些模型的能力来完善其自身输出的技术越来越感兴趣。在这项工作中，我们介绍了Shepherd，这是一个专门针对批评模型响应和建议改进的语言模型，它超越了未经编辑的模型的能力，可以识别各种错误并提供补救建议。我们方法的核心是一个高质量的反馈数据集，我们根据社区反馈和人类注释对其进行策划。尽管Shepherd很小（7B参数），但它的批评与包括ChatGPT在内的已建立模型的批评是等效的或首选的。使用GPT4进行评估，与竞争对手相比，Shepherd的平均胜率为53-87%。在人类评估中，Shepherd严格优于其他模型，平均而言与ChatGPT密切相关。

1 引言

2 数据收集

3 Shepherd模型

4 评估反馈

5 结果

6 相关工作

7 结论

我们引入了一个新的模型来批评大型语言模型的