Harnessing LLMs Explanations to Boost Surrogate Models in Tabular Data Classification

文章主要内容

本文提出了一种基于大型语言模型（LLMs）的tabular数据分类框架，旨在解决现有LLM方法在资源消耗、示例选择和可解释性方面的不足。核心思路是利用LLMs生成的解释来指导轻量级替代语言模型（SLM）进行可解释的预测，主要包括三个阶段：

1. 事后解释生成：使用LLMs为候选示例的问答对生成解释，揭示决策背后的推理过程。
2. 解释引导的示例选择：基于LLMs生成的解释，从候选示例中筛选出最相关的样本，过滤掉噪声特征。
3. 解释引导的SLM预测：将筛选后的示例与对应解释结合，作为SLM的上下文输入，提升预测性能并生成可解释的输出。

实验结果表明，该框架在多个tabular数据集上平均准确率提升了5.31%，显著优于传统机器学习方法和现有LLM-based方法，同时减少了对高资源LLMs的依赖。

文章创新点

1. 引入LLMs作为事后解释生成器：通过LLMs为候选示例生成特征归因解释，减少对频繁API调用的依赖，同时捕获模型的关键洞察。
2. 解释引导的示例选择机制：利用LLMs生成的解释筛选关键特征，优化上下文学习中的示例选择，提高输入提示的质量。
3. 轻量级替代模型（SLM）架构：使用计算高效的SLM替代高资源LLMs，结合解释信息实现高性能预测，同时提升模型可解释性。
4. 平衡性能