Tuna: Instruction Tuning using Feedback from Large Language Models

最新推荐文章于 2025-11-25 12:11:01 发布

UnknownBody

最新推荐文章于 2025-11-25 12:11:01 发布

阅读量723

点赞数 1

CC 4.0 BY-SA版权

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/134155364

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

Tuna是一种使用概率排名和上下文排名微调指令调优LLM的方法，以提高模型生成更好响应的能力。在超级自然指令、LMentry和Vicuna QA等基准测试中，Tuna模型的表现超越了强化学习基线，展现出提高基于指令的LLM性能的有效性。然而，该方法依赖GPT-4的排名，可能存在排名不一致性和对专有LLM的依赖性问题。

本文是LLM系列文章，针对《Tuna: Instruction Tuning using Feedback from Large Language Models》的翻译。

摘要

使用更强大的LLM（如Instruction GPT和GPT-4）的直接输出，对LLaMA等开源大型语言模型（LLM）进行指令调整，已被证明是一种使模型行为与人类偏好保持一致的经济高效的方法。然而，指令调优模型每个指令只看到一个响应，缺乏潜在更好响应的知识。在本文中，我们建议使用我们新颖的概率排名和上下文排名方法来微调指令调整LLM，以增加生成更好响应的可能性。概率排名使指令调整模型能够继承教师LLM的高质量和低质量回答的相对排名。另一方面，使用上下文排序的学习允许模型使用更强LLM的上下文理解能力来细化自己的响应分布。此外，我们将概率排序和上下文排序顺序应用于指令调优LLM。由此产生的模型，我们称之为Tuna，持续提高了超级自然指令（119个测试任务）、LMentry（25个测试任务，Vicuna QA）的性能，甚至可以获得比几个强强化学习基线更好的结果。我们的代码和数据可在https://github.com/microsoft/LMOps上获得。