ChatGPT论文：大语言模型LLM之战:Dolly、LLaMA 、Vicuna、Guanaco、Bard、ChatGPT--在自然语言转SQL(NL2SQL、Text-to-SQL)的比较（二）

3 评价结果

3.1 Spider 数据集

表 2 列出了各种提示策略和模型组合的执行准确性 (EX) 和测试套件 (TS) 的准确性。我们的主要发现是：

• 开源模型在 Spider 数据集上遇到了困难：尽管参数数量和模型性能之间存在正相关关系，但开源模型在 Spider数据集上实现高精度方面面临着挑战。 例如，尽管 Vicuna 7B 和 13B 已证明比原始预训练的 LLaMA 7B 和 13B模型有所改进，但与 Bard 和 GPT-3.5 相比，性能仍然存在显着差距。 此外，与 LLaMA 的 13B 版本相比，Dolly模型在不同的提示策略上也表现不佳。
• LLM的表现对提示风格高度敏感：我们的实证研究结果证实，不存在适用于所有模型的通用提示策略。 虽然 IS 提示策略对于GPT-3.5、Bard、Vicuna 和guanaco 被证明是有效的，但对于 Dolly 和 LLaMA 来说却产生了次优的准确度。令人惊讶的是，LLaMA 在使用 S3 提示时实现了最佳结果，相比之下，GPT-3.5 的性能显著恶化。
• 使用随机示例的小样本学习提供的性能提升有限：从 1SL 和 5SL获得的大多数结果往往表现不佳，或者充其量只能达到与其他提示策略相当的结果。 然而，这种趋势也有一些例外。 Dolly 模型是一个例外，与12B 变体中的其他提示策略相比，该模型显示 1SL 提示策略的性能有所提高。 这个结果似乎是反常的，因为在其他 1SL 和 5SL结果中没有观察到类似的性能提升。 另一个例外是 LLaMA 模型，其中少样本提示策略优于一些零样本策略。 例如，30B LLaMA模型仅用 5 个给定示例就实现了 22.4% EX 和 19.9% TS 准确率，这接近于guanaco 模型的性能（24.4% EX 和19.0% TS）。

3.2 经典数据集

由于Academic, Restaurants, IMDB,Yelp 没有有训练集，我们从其他经典数据集的评估集中抽取 1SL 和 5SL 的示例。 我们根据表 3 中的结果强调了一些主要发现：

• LLM在大多数经典数据集上表现不佳：特别是，与之前研究中报告的基线性能相比，这些数据集上达到的最高准确率分别仅为 2.9% 和 2.4%，明显低于使用 LSTM 或 BERT 的传统 seq2seq模型的其他研究中观察到的基线结果 34.0% 和 45.2%&