Dolly vs LLaMA vs Vicuna vs Guanaco vs Bard vs ChatGPT - A Text-to-SQL Parsing Comparison

本文是LLM系列文章，针对《Battle of the Large Language Models: Dolly vs LLaMA vs Vicuna vs
Guanaco vs Bard vs ChatGPT

摘要

ChatGPT的成功引发了一场人工智能竞赛，研究人员努力开发新的大型语言模型（LLM），这些模型可以与商业模型的语言理解和生成能力相匹配或超越。近年来，出现了许多模型，通过各种指令调优方法声称性能接近GPT-3.5或GPT-4。作为文本到SQL解析的实践者，我们感谢他们对开源研究的宝贵贡献。然而，重要的是要仔细审查这些说法，并确定这些模型的实际有效性。因此，我们对六个流行的大型语言模型进行了对比，系统地评估了它们在九个基准数据集上的文本到SQL解析能力，并采用了五种不同的提示策略，涵盖了零样本和少搜索场景。令人遗憾的是，开源模型的性能明显低于GPT-3.5等闭源模型，这突出表明需要进一步的工作来弥补这些模型之间的性能差距。

1 引言

2 实验设置

3 评估结果

4 讨论

5 相关工作

6 结论和未来工作

本文使用五种不同的提示策略，在九个基准数据集上系统地评估了六个流行的大型语言模型的文本到SQL解析能力。我们的研究结果表明，与开源模型相比，开源模型的性能明显不足。然而，值得注意的是，在几个经典数据集上，即使是GPT-