Investigating the Impact of Data Contamination of Large Language Models in Text-to-SQL Translation

本文是LLM系列文章，针对《Investigating the Impact of Data Contamination of Large Language Models in Text-to-SQL Translation》的翻译。

摘要

理解文本描述以生成代码似乎是在零样本场景中实现的指令-遵循大型语言模型（LLM）的能力。然而，这种翻译能力极有可能受到看到目标文本描述和相关代码的影响。这种影响被称为数据污染。
在这项研究中，我们研究了数据污染对GPT3.5在文本到SQL代码生成任务中的性能的影响。因此，我们引入了一种新的方法来检测GPT中的数据污染，并使用已知的Spider数据集和我们新的不熟悉的数据集Termite来检查GPT-3.5的文本到SQL的性能。此外，我们通过对抗性表断开连接（ATD）方法分析了GPT-3.5对具有修改信息的数据库的有效性，通过从数据库中删除结构信息使Textto SQL任务复杂化。我们的结果表明，即使对ATD进行了修改，GPT-3.5在不熟悉的Termite数据集上的性能也会显著下降，这突出了数据污染对文本到SQL翻译任务中LLM的影响。

1 引言

2 背景

3 Text-to-SQL数据集

4 方法：研究数据污染及其对文本到SQL任务的影响

5 实验

6 结论

本文表明，数据污染是高估GPT3.5在Text to SQL上的性能的原因。使用一种新的数据污染检测指标进行的实验清楚地表明，GPT-3.5拥有关于Spider验证集内容的先验知识，而他对我们构建的文本到SQL看不见的数据集Termite一无所知。事实上，正如结果所