ChatGPT论文：Evaluating the Text-to-SQL Capabilities of Large Language Models 评估大语言模型的文本到 SQL 的功能 (二)

摘要

我们对 Codex 语言模型的文本到 SQL 功能进行了实证评估。 我们发现，在没有任何微调的情况下，Codex 是 Spider 基准测试的强大基线； 我们还分析了 Codex 在此设置下的故障模式。 此外，我们在 GeoQuery 和 Scholar 基准测试中证明，提示中提供的少量域内示例使 Codex 的性能优于在此类少数示例上进行微调的最先进模型。

ChatGPT论文：Evaluating the Text-to-SQL Capabilities of Large Language Models 评估大语言模型的文本到 SQL 的功能 (一)

3 零样本结果

我们在表 1 中列出了不同模型大小的结果，在表 2 中列出了不同提示样式的结果。附录 B 中的表 4 提供了完整的结果。

Codex 为文本到 SQL 任务提供了强大的基线

表 1 中表现最佳模型（davinci-codex，Create Table + Select 3）在Spider上实现了67％的执行准确率和56.5％的测试套件执行准确率。 这与 BRIDGE v2（Lin 等人，2020）模型的性能相当，该模型在 2020 年 12 月实现了（当时）最先进的 68% 执行精度。