ChatGPT 论文：Enhancing Few-shot Text-to-SQL Capabilities of Large Language Models (三)

ChatGPT 论文：Enhancing Few-shot Text-to-SQL Capabilities of Large Language Models (一)
ChatGPT 论文：Enhancing Few-shot Text-to-SQL Capabilities of Large Language Models (二)

4 分析

4.1 基于预测语法的检索

现有的示例选择方法依赖于问题和数据库的语义表示。本文提出了一种专门针对代码生成任务的替代方法，该方法侧重于解决方案代码的语法。检查了不同策略生成的提示中的语法覆盖率和语法相似度。语法覆盖率是通过计算语法元素（关键字、运算符和标识符）的出现次数并将其除以所有语法元素的总数来计算的。另一方面，语法相似度是通过计算预测的SQL的离散向量表示与所选示例的gold SQL向量之间的欧几里得距离的平均值来测量的。如表1所示，这两个度量都有助于选择示例的质量。此外，两个度量的简单求和表明与系统性能的相关性，如图3所示。
作者通过以下理由论证本文策略的有效性：

在注释示例池中问题结构的多样性有限的情况下，某些测试问题可能缺乏可用于检索的相似示例；
问题/数据库的语义表示和距离度量本身不支持不同问题结构的封装和比较，而SQL语法提供了直接测量问题结构的方法。

鉴于这些限制，最佳策略是选择相似的示例，同时确保尽可能覆盖许多语法示例，以减轻基于相似性检索的潜在失败。
4.2 检索方法的比较分析
图4展示了各种基于相似度的检索方法性能的比较分析。此次调查的主要变量是为每个示例提取的表示，重点提取和比较以下嵌入类型：

由Sentence-BERT，RoBERTa-base、text-embedding-ada-002生成的问题嵌入；