本文是LLM系列文章,针对《DTS-SQL: Decomposed Text-to-SQL with Small Large Language Models》的翻译。
DTS-SQL:使用小型-大语言模型分解Text-to-SQL
摘要
Text-to-SQL任务的主要模型严重依赖于专有的大型语言模型(LLM),这引发了对数据隐私的担忧。缩小小型开源模型和大型专有模型之间的性能差距对于缓解这种依赖至关重要。为此,我们引入了一种新的两阶段微调方法,将任务分解为两个更简单的任务。通过对两个大型跨域数据集和两个小型LLM的综合评估,我们发现这种方法将执行精度提高了3%至7%,有效地将开源模型的性能与其