ChatGPT’s One-year Anniversary: Are Open-Source Large Language Models Catching up?

本文是LLM系列相关文章，针对《ChatGPT’s One-year Anniversary: Are Open-Source Large Language Models Catching up?》的翻译。

摘要

自2022年末发布以来，ChatGPT在研究和商业领域给人工智能的整个领域带来了翻天覆地的变化。通过对一个大型语言模型（LLM）的指令调整，以及对人类反馈的监督微调和强化学习，它表明一个模型可以回答人类的问题，并在广泛的任务中遵循指令。在这一成功之后，人们对LLM的兴趣增强了，新的LLM在学术界和工业界频繁出现，包括许多专注于LLM的初创企业。虽然封闭源LLM（例如OpenAI的GPT、Anthropic的Claude）通常优于开源LLM，但后者的进展很快，声称在某些任务上实现了对等甚至更好。这不仅对研究有重要影响，而且对商业也有重要影响。在这项工作中，在ChatGPT成立一周年之际，我们对这一成功进行了详尽的概述，调查了开源LLM声称与ChatGPT不相上下或更好的所有任务。

1 引言

2 背景

3 开源LLM与ChatGPT

4 讨论

5 结论

在这项调查中，我们在ChatGPT发布一周年之际，对在各种任务领域超过或赶上ChatGPT的高性能开源LLM进行了系统回顾（第3节）。此外，我们还提供了开源LLM的见解、分析和潜在问题（第4节）。我们相信，这项调