摘要
我们对 Codex 语言模型的文本到 SQL 功能进行了实证评估。 我们发现,在没有任何微调的情况下,Codex 是 Spider 基准测试的强大基线; 我们还分析了 Codex 在此设置下的故障模式。 此外,我们在 GeoQuery 和 Scholar 基准测试中证明,提示中提供的少量域内示例使 Codex 的性能优于在此类少数示例上进行微调的最先进模型。
ChatGPT论文:Evaluating the Text-to-SQL Capabilities of Large Language Models 评估大语言模型的文本到 SQL 的功能 (一)
3 零样本结果
我们在表 1 中列出了不同模型大小的结果,在表 2 中列出了不同提示样式的结果。附录 B 中的表 4 提供了完整的结果。
Codex 为文本到 SQL 任务提供了强大的基线
表 1 中表现最佳模型(davinci-codex,Create Table + Select 3)在Spider上实现了67%的执行准确率和56.5%的测试套件执行准确率。 这与 BRIDGE v2(Lin 等人,2020)模型的性能相当,该模型在 2020 年 12 月实现了(当时)最先进的 68% 执行精度。