Unleashing the Potential of Large Language Models for Predictive Tabular Tasks in Data Science

本文是LLM系列文章，针对《Unleashing the Potential of Large Language Models for Predictive Tabular Tasks in Data Science》的翻译。

摘要

在数据科学领域，缺失值的分类、回归和插补等预测任务通常会遇到与表格数据相关的挑战。本研究致力于将大型语言模型（LLM）应用于解决这些预测任务。尽管LLM在理解自然语言方面很熟练，但在处理结构化表格数据方面却达不到要求。这种限制源于他们在基础训练期间缺乏对复杂表格数据的了解。我们的研究旨在通过编译一个由指令注释的表组成的综合语料库，并在这个丰富的数据集上执行Llama-2的大规模训练，来缓解这一差距。此外，我们还研究了将训练模型应用于零样本预测、小样本预测和上下文学习场景的实际应用。通过广泛的实验，我们的方法显示出对现有基准的显著改进。这些进步突出了调整LLM训练以解决数据科学中与表格相关的问题的有效性，从而在利用LLM增强表格智能方面建立了一个新的基准。

1 引言

2 相关工作

3 方法

4 实验

5 结论

这项研究开始弥合大型语言模型（LLM）及其在处理结构化表格数据方面的应用之间的差距，结构化表格数据是数据科学的主要内容，但在LLM研究中尚未得到充分探索。通过在Kaggle和其他以表格为中心的来源的精选数据集上对Llama-2模型进行预训练，我们在分类、回归和缺失值插补任务方面取得了显著改进，该数据集包括300个领域的约130亿个例子。增强型Llama-2模型表现出优异的性能，与GPT-4相比，分类任务平均提高8.9%，回归任务平均提高10.7%，缺失值预测精度提高27%。此外，我们的方法的应用扩展到了小