Knowledge-Informed Automatic Feature Extraction via Collaborative Large Language Model Agents

文章总结与翻译

一、主要内容

本文针对表格数据机器学习中特征工程的核心需求，提出了一种基于大型语言模型（LLM）的多智能体自动特征提取框架Rogue One。该框架通过去中心化的三个专业智能体（Scientist、Extractor、Tester）协同工作，迭代完成特征的发现、生成与验证，同时整合外部领域知识和定性反馈机制，解决传统自动特征提取（AutoFE）方法在语义关联性、知识整合和反馈单一性上的不足。

在实验验证中，Rogue One在19个分类数据集和9个回归数据集上均显著优于现有主流AutoFE方法，不仅提升了预测准确率（分类任务平均 reciprocal rank 达0.76）和降低了归一化均方根误差（回归任务平均 reciprocal rank 达0.91），还能生成具有语义解释性的特征。例如在心肌梗死数据集上发现了白细胞计数与红细胞沉降率的比值这一潜在新型生物标志物，展现了其在科学发现中的应用价值。

二、创新点

1. 多智能体协同架构：设计Scientist（制定搜索策略）、Extractor（生成候选特征）、Tester（评估与剪枝）三个专业化智能体，替代传统单LLM架构，实现分工协作与动态优化。
2. 定性反馈机制：突破仅依赖准确率等定量指标的局限，引入特征质量、稳定性、冗余度等定性评估维度，提供更丰富的优化信号。
3. 知识整合能力：通过检索增强生成（RAG）系统集成外部领域知识（文献、网页搜索等），使生成的特征兼具统计有效性和语义