2025_NIPS_Scaling Up Active Testing to Large Language Models

文章主要内容总结

该研究聚焦于解决大型语言模型（LLMs）评估中存在的计算成本高、标签效率低的问题，提出了一套可规模化的主动测试（Active Testing）方案。核心思路是通过优化主动测试中的关键计算瓶颈，在有限标签预算下实现对LLMs性能的精准评估：

1. 背景与问题：现有LLMs评估面临双重挑战——模型复杂度提升导致评估成本激增，且数据泄露风险要求动态获取新评估数据；传统主动测试虽能提高标签效率，但因代理模型训练、预测计算等环节的高成本，难以适配LLMs。
2. 核心优化策略：
   • 代理模型训练：用少量初始测试数据通过上下文学习（in-context learning）构建代理模型，固定不变，避免重复梯度训练；
   • 代理模型选型：使用比目标模型更小的代理模型，降低预测计算成本；
   • 目标模型预测简化：完全依赖代理模型进行数据采集决策，无需目标模型参与，将预测次数从N（池数据量）降至M（标签预算）。
3. 辅助创新：提出基于自助法（bootstrap）的风险估计误差评估器，可在单次测试中判断主动测试效果，提供近似95%置信区间（实际覆盖率88%）。
4. 实验验证：在SST-2、FPB等5个文本分类数据集上，用Llama 2、Gemma 3等不同规模LLM验证，结果显示该方案的风险估计误差比随机采样低25%-50%（最高80%），且支持数据集筛选、适配复杂任务（如MMLU），仅在标签不可靠或代理模型过弱时出现失效。