Investigating the Impact of Data Contamination of Large Language Models in Text-to-SQL Translation-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137929548

本文研究了数据污染对GPT3.5在文本到SQL转换任务中的影响，发现GPT-3.5在不熟悉的Termite数据集上性能显著下降，揭示了数据污染可能导致高估LLM的性能。实验表明，GPT-3.5对Spider数据集有先验知识，而在新数据集上表现不佳，强调了数据污染问题。对抗性表断开连接的分析显示，其对不同数据集的影响不同。建议需要更全面地重新评估零样本场景下LLM的基准，并开发不受预训练影响的新数据集。

本文是LLM系列文章，针对《Investigating the Impact of Data Contamination of Large Language Models in Text-to-SQL Translation》的翻译。

摘要

理解文本描述以生成代码似乎是在零样本场景中实现的指令-遵循大型语言模型（LLM）的能力。然而，这种翻译能力极有可能受到看到目标文本描述和相关代码的影响。这种影响被称为数据污染。
在这项研究中，我们研究了数据污染对GPT3.5在文本到SQL代码生成任务中的性能的影响。因此，我们引入了一种新的方法来检测GPT中的数据污染，并使用已知的Spider数据集和我们新的不熟悉的数据集Termite来检查GPT-3.5的文本到SQL的性能。此外，我们通过对抗性表断开连接（ATD）方法分析了GPT-3.5对具有修改信息的数据库的有效性，通过从数据库中删除结构信息使Textto SQL任务复杂化。我们的结果表明，即使对ATD进行了修改，GPT-3.5在不熟悉的Termite数据集上的性能也会显著下降，这突出了数据污染对文本到SQL翻译任务中LLM的影响。