Active Testing of Large Language Model via Multi-Stage Sampling

本文是LLM系列文章,针对《Active Testing of Large Language Model via Multi-Stage Sampling》的翻译。

通过多阶段抽样对大型语言模型进行主动测试

摘要

性能评估在大型语言模型 (LLM) 的开发生命周期中起着至关重要的作用。它估计模型的能力,阐明行为特征,并有助于识别潜在的问题和限制,从而指导进一步的改进。鉴于 LLM 的不同任务处理能力源于大量的训练数据,因此全面评估还需要大量、注释良好且具有代表性的测试数据来评估 LLM 在各种下游任务中的性能。然而,对高质量测试数据的需求通常需要大量的时间、计算资源和手动工作,有时会导致评估效率低下或不切实际。为了应对这些挑战,研究人员提出了主动测试,即通过选择测试数据的子集来估计整体性能。然而,鉴于 LLM 独特的新挑战(例如,不同的任务类型、增加的模型复杂性和训练数据的不可用),现有的主动测试方法往往效率低下,甚至不适用。为了减轻此类限制并加快 LLM 的开发周期,在这项工作中,我们引入了 AcTracer,这是一个为 LLM 量身定制的主动测试框架,它战略性地选择一小部分测试数据,以实现 LLM 的近乎最佳的性能估计。 通过基于池的多阶段主动选择来减少差异。我们的实验结果表明,与现有方法相比,AcTracer 在各种任务中实现了最先进的性能,比以前的 SOTA

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值