LLM-FS-Agent: A Deliberative Role-based Large Language Model Architecture for Transparent Feature

文章核心内容与创新点总结

该文章针对机器学习中高维数据导致的模型可解释性差、效率低问题，提出多智能体架构LLM-FS-Agent，在物联网入侵检测场景验证其有效性，为特征选择提供透明高效新方案。

主要内容

1. 研究背景：高维数据引发“维度灾难”，传统特征选择方法（过滤法、包装法、嵌入式法）及现有基于大语言模型（LLM）的特征选择方法（文本驱动、数据驱动）存在“黑箱”问题，缺乏决策透明度与结构化推理，难以满足网络安全等敏感领域需求。
2. 架构设计：LLM-FS-Agent包含4个角色明确的智能体，形成结构化审议流程。Initiator基于任务描述做特征语义初评；Refiner结合统计元数据完善分析；Challenger批判性审查初评，提出反驳论据；Judge综合各方观点，用加权公式计算特征最终重要性得分，生成可解释推理过程。
3. 实验验证：以物联网入侵检测为场景，用CIC-DIAD 2024数据集（含良性、暴力破解、Mirai攻击三类数据），对比LLM-FS-Agent与LLM-Select、PCA等方法。在XGBoost、随机森林等4类分类器上评估，结果显示其在特征子集规模为20时性能最优，平均减少下游分类器46%训练时间（XGBoost场景统计显著，p=0.028），且在多数情况下性能相当或更优。