论文笔记：Evaluating the Performance of Large Language Models on GAOKAO Benchmark

最新推荐文章于 2025-08-18 16:29:41 发布
最新推荐文章于 2025-08-18 16:29:41 发布
阅读量612 收藏
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 论文笔记 文章标签： 论文阅读 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40206371/article/details/136635075

1 论文思路

采用zero-shot prompting的方式，将试题转化为ChatGPT的输入

对于数学题，将公式转化为latex输入 

主观题由专业教师打分

2 数据

2010~2022年，一共13年间的全国A卷和全国B卷

3 结论

3.1 不同模型的zeroshot 高考总分

最低0.47元/天 解锁文章

200万优质内容无限畅学
LLMs：LLMs大语言模型评估的简介(两标+六性+九维，大模型排行榜多种)，两类基准—通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【Super
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-30 5148
​ LLMs：LLMs大语言模型评估的简介(两标(NLUGR指标/REBT)+六性(理解性+生成性+多样性+泛化性+能耗性+可解释性)+九维(2大能力域【理解/生成】+3性【丰富性/多样性/适应性】+4大子任务【逻辑推理/问题解决/对和聊天/情感分析】)，大模型排行榜多种)，两类基准——通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【SuperGLUE/MMLU/BIG-bench/HELM/AGIEval/C-EVAL/Xiezhi】、基于工具【API
翻译：arXiv-2023 PromptRobust: Towards Evaluating the Robustness of Large Language Models on
CSPhD-winston的博客
08-12 886
对大型语言模型（LLMs）的日益依赖要求我们全面了解它们对提示的鲁棒性。在本文中，我们介绍了PromptRobust，一个旨在衡量LLMs对对抗性提示的弹性的鲁棒性基准测试。本研究使用了大量对抗性文本攻击，这些攻击针对提示的多个层面：字符、单词、句子和语义。这些对抗性提示被设计成模仿合理的用户错误，如错别字或同义词，旨在评估微小的偏差如何影响LLM的结果，同时保持语义完整性。然后，这些提示被用于各种任务，包括情感分析、自然语言推理、阅读理解、机器翻译和数学。
GAOKAO-Bench 开源项目详细指南
gitblog_00915的博客
08-08 833
GAOKAO-Bench 开源项目详细指南 GAOKAO-BenchGAOKAO-Bench - 一个以中国高考题目为数据集，用于评估大型模型语言理解能力和逻辑推理能力的框架。项目地址:https://gitcode.com/gh_mirrors/ga/GAOKAO-Bench 1. 项目介绍 GAOKAO-Bench是由OpenLMLab发起的一个评估大型语言模型的开源框架，利用中国的高考试题...
LLM模型中英文评测基准
dzysunshine的博客
07-06 2986
为推动LLM在医疗领域的发展和落地，华东师范大学王晓玲教授团队联合阿里巴巴天池平台，复旦大学附属华山医院，东北大学，哈尔滨工业大学（深圳），鹏城实验室与同济大学推出PromptCBLUE评测基准, 对CBLUE基准进行二次开发，将16种不同的医疗场景NLP任务全部转化为基于提示的语言生成任务,形成首个中文医疗场景的LLM评测基准。MMLU 是包含 57 个多选任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，是目前主流的LLM评测数据集。
探索GAOKAO-Bench：一个高考智能评估与训练平台
gitblog_00059的博客
04-19 683
探索GAOKAO-Bench：一个高考智能评估与训练平台 项目地址:https://gitcode.com/gh_mirrors/ga/GAOKAO-Bench 项目简介 GAOKAO-Bench 是一款开源的高考智能评估和训练系统，由OpenLMLab团队精心打造。它利用先进的自然语言处理（NLP）技术和机器学习算法，为学生提供个性化的高考复习和模拟测试体验，帮助他们更高效地准备高考。 技术分析...
LLMs之GLM：《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-20 3977
​ LLMs之ChatGLM：《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读 目录 《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读 Abstract 1 Introduction引言 2 ChatGLM
论文目录3：大模型时代（2023+）
qq_40206371的博客
03-05 2443
早期做instruction tuning的workin-context learning都是没有finetune过程，这里相当于finetune了一下在in-context learning的时候，故意给一些错误的例子、其他领域的返利，看看大模型的效果——>这篇论文的结论是，in-context learning只起到“唤醒”的作用，LLM本身就具备了所需要的功能。这里给LLM范例的作用只是提示LLM要做这个任务了在更大的LLM中，in context learning 确实也起到了让模型学习的作用。
LLMs：《A Survey on Evaluation of Large Language Models大型语言模型评估综述》理解智能本质(具备推理能力)、AI评估的重要性(识别当前算法的局限性+设
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-30 4917
​ LLMs：《A Survey on Evaluation of Large Language Models大型语言模型评估综述》翻译与解读 LLMs：大型语言模型评估研究综述—理解智能本质(具备推理能力)、AI评估的重要性(识别当前算法的局限性+设计更强大模型的关键工具)、评估LLMs的四大意义、三维度(What+Where+How)综述LLMs评估、LLMs大语言模型的三大关键(Transformer+RLHF+提示工程)、评估LLMs任务六大类(NLURG+REBT+SS+NS+MA+Agent
【论文阅读】《Baichuan 2: Open Large-scale Language Models》
weixin_45606499的博客
10-16 5886
摘要大型语言模型 (LLM) 在自然语言任务上展现了出色的性能，减少了对大量特征工程的需求。但大多数高效的LLM主要针对英语或为闭源。本技术报告介绍了Baichuan 2，一个大规模多语言模型系列，包含70亿和130亿参数，基于2.6万亿tokens从零开始训练。Baichuan 2在公开基准测试如MMLU、CMMLU、GSM8K和HumanEval上达到或超过了其他同类开源模型的性能，并在医学和法律等垂直领域表现优异。
大模型之基准测试集(Benchmark)-给通义千问2.0做测评的10个权威测基准测评集
aidashuju的博客
09-24 4083
CMMLU是针对中国背景下的大型语言模型的知识和推理能力的评测，由MBZUAI、上海交通大学、微软亚洲研究院共同推出，包含67个主题，专门用于评估语言模型在中文语境下的知识和推理能力。CMMLU是一个涵盖自然科学、社会科学、工程和人文学科等多个学科的综合性中国基准。是国内两大权威评测之一。
MedSafetyBench: Evaluating and Improving the Medical Safety of Large Language Models
c_cpp_csharp的专栏
06-27 160
随着大型语言模型（LLM）发展出越来越复杂的功能并在医疗环境中找到应用，评估其医疗安全变得非常重要，因为它们对个人和公共健康、患者安全和人权具有深远的影响。然而，在LLM的背景下，人们对医疗安全的概念几乎没有了解，更不用说如何评估和改进它了。为了解决这一差距，我们首先根据美国医学协会提出的医学伦理原则定义LLM中的医疗安全概念。然后，我们利用这一理解引入MedSafetyBench，这是第一个专门用于测量LLM医疗安全性的基准数据集。
CODEEDITORBENCH: EVALUATING CODE EDITING CAPABILITY OF LARGE LANGUAGE MODELS
c_cpp_csharp的专栏
07-24 265
代码的大型语言模型（LLM）正在迅速发展，代码编辑成为一项关键能力。我们介绍CodeEditorBench，这是一个评估框架，旨在严格评估LLM在代码编辑任务中的性能，包括调试、翻译、打磨和需求切换。与仅专注于代码生成的现有基准不同，CodeEditorBench强调软件开发的真实场景和实际方面。我们从五个来源策划了各种编码挑战和场景，涵盖了各种编程语言、复杂性级别和编辑任务。
Beyond Accuracy: Evaluating the Reasoning Behavior of Large Language Models - A Survey
c_cpp_csharp的专栏
07-19 479
大型语言模型（LLM）最近在涉及推理的任务中表现出了令人印象深刻的性能，这引发了关于这些模型是否具有与人类相似的推理能力的激烈争论。然而，尽管取得了这些成功，LLM的推理能力的深度仍然不确定。这种不确定性部分源于主要关注任务表现，通过肤浅的准确性指标来衡量，而不是对模型推理行为的彻底调查。本文试图通过对超越任务准确性的研究进行全面回顾来解决这一差距，为模型的推理过程提供更深入的见解。此外，我们调查了评估LLM推理行为的流行方法，强调了当前趋势和对更细致的推理分析的努力。
【论文阅读】基于表面肌电信号的下肢多关节运动估计：一种深度卷积神经网络方法
qq_60423839的博客
08-14 1137
本文提出一种基于多通道表面肌电信号(sEMG)和深度卷积神经网络(CNN)的下肢多关节运动估计方法。研究采集了骑行和步行任务中的7通道sEMG信号，通过带通滤波、全波整流等预处理后构建CNN模型，用于估计髋、膝、踝关节角度。实验结果表明，所提CNN模型在骑行任务中三个关节的估计均方根误差分别为3.8886°、2.8199°和3.1148°，精度显著优于传统BPNN和RBFNN模型。该研究为下肢康复外骨骼的人机交互控制提供了理论基础，未来将探索sEMG时频特征对模型的影响及非理想环境下的意图识别问题。
【论文阅读69】-DeepHGNN复杂分层结构下的预测
wangshangshang09的博客
08-18 340
这篇论文提出的 **DeepHGNN** 框架，把层级时间序列预测问题转化为图学习问题，通过 **图神经网络 + 层级插值 + 端到端一致性** 来提升预测精度和层级一致性，在实验中优于现有方法。
Radar Forward-Looking Imaging Based on Chirp Beam Scanning论文阅读
yangqoor的博客
08-15 907
创新思想：将方位维回波重构为「脉冲压缩问题」，需主动调制波束方向图使其具备「宽频带」特性。通过阵列激励调制，在主瓣内引入二次相位变化，定义调频波束（Chirp Beam）数学定义Echirpφϕrectφ−ϕΦ0exp⁡j2πKa2φ−ϕ2Echirp​φϕrectΦ0​φ−ϕ​expj2π2Ka​​φ−ϕ2φ\varphiφ：目标方位角ϕ\phiϕ：波束指向角（扫描变量）Φ0\Phi_0Φ0​。
《GuardHFL: Privacy Guardian for Heterogeneous Federated Learning》——论文阅读
2301_77039628的博客
08-15 491
 GuardHFL—— 异构联邦中 通过轻量级密码技术 实现安全查询新方案
【论文阅读】基于卷积神经网络和预提取特征的肌电信号分类
qq_60423839的博客
08-14 1186
【摘要】本研究提出了一种基于预提取特征的卷积神经网络(CNN)肌电信号分类方法。通过从原始EMG信号中提取时域和频域特征作为CNN输入，有效解决了肌电信号非平稳性和变异性带来的分类挑战。实验采用6个上下肢运动数据集，结果表明该方法平均准确率达98.84%，显著优于传统算法(p<0.05)。相比直接处理原始信号，特征预处理不仅提高了分类精度，还大幅降低了计算负载，使训练时间缩短至1.29秒。该模型已集成至开源平台BioPatRec，为智能假肢开发提供了高效可靠的分类方案。
论文阅读 2025-8-9 [DiC, DropKey]
最新发布
weixin_51552032的博客
08-18 387
闲来没事，找点近一年的论文看看。
Evaluating and Enhancing Large Language Models'Performancein Domain-Specific Medicine:Development and Usability StudyWith DocOA
03-12
好的，我现在需要处理用户关于大型语言模型（LLMs）在医学领域的性能评估和增强，特别是与DocOA相关的研究的查询。... - MIMIC-III临床笔记语料库（需伦理审查） - BioMedLM（2.7B参数医学专用LLM）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值