Large Language Models as Universal Predictors? An Empirical Study on Small Tabular Datasets

论文总结与翻译：《Large Language Models as Universal Predictors? An Empirical Study on Small Tabular Datasets》

一、文章主要内容

本文聚焦大型语言模型（LLMs）在小规模结构化表格数据上的预测能力，通过实验探究其能否作为通用预测器，在分类、回归和聚类任务中无需显式微调，仅依靠上下文学习（ICL）实现高效预测，并与传统机器学习（ML）基线模型、表格基础模型（TFMs）展开性能对比。

1. 研究背景与核心问题

• 背景：LLMs在自然语言处理（NLP）领域表现卓越，且具备跨模态、跨领域泛化潜力，上下文学习能力使其无需下游任务微调即可处理结构化输入；但通用近似定理针对传统神经网络，LLMs（尤其是自回归Transformer架构）在非语言结构化表格数据上的函数近似能力仍不明确。
• 核心问题：LLMs在小规模表格数据的分类、回归、聚类任务中，仅通过少量示例的上下文学习，能否达到与传统ML模型、表格基础模型相当的性能，成为“零训练”预测基线。

2. 实验设计

• 数据集：选取9个小规模表格数据集（样本量≤500），覆盖三类任务——分类（Iris、Lupus、Bankrupt）、回归（Diab