Benchmarking the Text-to-SQL Capability of Large Language Models: A Comprehensive Evaluation

本文是LLM系列文章，针对《Benchmarking the Text-to-SQL Capability of Large Language Models: A Comprehensive Evaluation》的翻译。

摘要

大型语言模型（LLM）已成为推进文本到SQL任务的强大工具，显著优于传统方法。然而，作为一个新兴的研究领域，对于最佳的提示模板和设计框架仍然没有达成共识。此外，现有的基准测试没有充分探讨LLM在文本到SQL过程的各个子任务中的性能，这阻碍了LLM认知能力的评估和基于LLM的解决方案的优化。为了解决上述问题，我们首先构建了一个新的数据集，旨在降低LLM中过拟合的风险。然后，我们制定了五个评估任务，以全面评估在整个文本到SQL过程中各种LLM的不同方法的性能。我们的研究强调了LLM之间的表现差异，并针对每项任务提出了最佳的情境学习解决方案。这些发现为促进基于LLM的文本到SQL系统的开发提供了宝贵的见解。

1 引言

2 相关工作

3 设置

4 评估

5 结论

在这项研究中，我们对文本到SQL管道中的各种子任务进行了系统的基准测试，包括文本到SQL、SQL调试、SQL优化、SQL到文本和模式链接。我们的综合评估涉及六个不同的LLM，涵盖通用模型和编码特定模型。我们专注于确定每个任务的最佳提示模板，评估不同方法之间的性能差异，并确定每个LLM的不同能力和局限性。该研究的