论文翻译:ACL-2024.Yiming Huang.Competition-Level Problems are Effective LLM Evaluators

Competition-Level Problems are Effective LLM Evaluators
https://aclanthology.org/2024.findings-acl.803.pdf

《竞赛级问题作为有效的LLM评估者》

摘要

大型语言模型(LLMs)展示了令人印象深刻的推理能力,然而,关于这些能力以及最近潜在的数据污染问题的争论仍在持续。本文旨在评估LLMs的推理能力,特别是在解决Codeforces中最近的竞赛级编程问题方面,这些问题是由专家精心设计且独特的,需要深入理解和强大的推理技能。我们首先对GPT-4在这项任务上的零样本(zero-shot)表现进行全面评估,考虑了问题发布时间、难度和遇到的错误类型等多个方面。令人惊讶的是,GPT-4在2021年9月之后的问题上的表现一致地出现了断崖式下降,这表明了潜在的数据污染问题,以及任何现有LLM在解决未见过的复杂推理问题时面临的挑战

我们进一步探索了各种方法,如微调、思维链(Chain-of-Thought)提示和问题描述简化。不幸的是,它们中没有一个能够一致地缓解挑战。通过我们的工作,我们强调了这个优秀数据源对于评估LLMs真正推理能力的重要性,并促进未来LLMs更强推理能力和更好泛化能力的发展。

1 引言

LLMs的兴起

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CSPhD-winston-杨帆

给我饭钱

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值