NL2SQL360：自然语言到SQL的全方位评估平台

NL2SQL360：自然语言到SQL的全方位评估平台

NL2SQL360 Official repository for the paper “The Dawn of Natural Language to SQL: Are We Fully Ready?” (VLDB'24) 项目地址: https://gitcode.com/gh_mirrors/nl/NL2SQL360

项目介绍

NL2SQL360是一个用于精细评估自然语言到SQL（Natural Language to SQL，简称NL2SQL）解决方案的测试平台。该平台整合了现有的NL2SQL基准测试、NL2SQL模型仓库以及多种评估指标，旨在为用户提供一个直观且用户友好的界面，以进行标准和自定义的性能评估。用户可以利用NL2SQL360对不同的NL2SQL方法进行评估，对比已建立的基准，或者基于特定标准进行评估。这种灵活性使得用户能够在特定的数据领域中测试解决方案，或分析SQL查询不同特征上的性能。

项目技术分析

NL2SQL360通过集成多种NL2SQL基准测试，如Spider和Bird，提供了一个全面的评估环境。它支持多种评估指标，包括执行准确度、精确匹配准确度、有效效率得分以及问题方差测试等。这些指标可以帮助研究人员和开发人员从不同角度理解和比较NL2SQL模型的性能。

此外，NL2SQL360还提出了SuperSQL模型，该模型在Spider和Bird测试集上分别达到了87%和62.66%的执行准确度，表现出竞争力。

项目及技术应用场景

NL2SQL360的主要应用场景包括但不限于：

1. 性能评估：研究人员可以通过该平台对现有的NL2SQL模型进行性能评估，以了解模型在不同数据集和不同SQL查询类型上的表现。
2. 模型基准测试：开发人员可以使用NL2SQL360为新的NL2SQL模型设定基准，确保其性能达到或超过现有模型。
3. 自定义评估：用户可以根据特定的评估标准，自定义测试场景，以更精确地衡量模型在特定领域或查询类型上的表现。

项目特点

NL2SQL360具有以下特点：

• 易用性：支持命令行和Python代码使用方式，用户可以根据自己的需求选择最合适的操作方式。
• 集成指标：提供执行准确度、精确匹配准确度、有效效率得分等多种指标，全面评估模型性能。
• 多角度性能分析：能够进行细粒度的性能分析（如JOIN、子查询等），以及基于场景的性能分析（如商业智能等）。

使用指南

安装

通过以下命令安装NL2SQL360：

pip install nl2sql360

快速开始

用户需要准备数据集，并将其导入到NL2SQL360中。以下是数据集的目录结构和导入方法：

DATASET_DIR_PATH:
├─database
│  ├─academic
│  │  ├─academic.sqlite
│  ├─college
│  │  ├─college.sqlite
├─dev.json
├─tables.json

然后，用户可以通过命令行或Python代码对NL2SQL模型进行评估，并生成多角度性能报告。

未来计划

NL2SQL360的开发团队计划继续优化平台，包括发布更多的评估代码、实验数据以及官方Python包。

实验数据

实验数据已公开发布，用户可以通过以下链接下载：

下载链接

引用

@article{nl2sql360,
  author       = {Boyan Li and
                  Yuyu Luo and
                  Chengliang Chai and
                  Guoliang Li and
                  Nan Tang},
  title        = {The Dawn of Natural Language to {SQL:} Are We Fully Ready? },
  journal      = {Proc. {VLDB} Endow.},
  volume       = {17},
  number       = {11},
  pages        = {3318--3331},
  year         = {2024}
}

NL2SQL360为NL2SQL领域的研究提供了一个强大的工具，无论是对于学术研究还是工业应用，都具有很高的实用价值。我们强烈推荐对此领域感兴趣的用户尝试使用NL2SQL360，以提升NL2SQL模型的研究和开发效率。

NL2SQL360 Official repository for the paper “The Dawn of Natural Language to SQL: Are We Fully Ready?” (VLDB'24) 项目地址: https://gitcode.com/gh_mirrors/nl/NL2SQL360