论文阅读：A Survey on Evaluation of Large Language Models-鲁棒性相关内容

已于 2025-04-20 21:44:22 修改
阅读量778 收藏 4
点赞数 5
分类专栏： 论文阅读 LLMs-鲁棒性 文章标签： 语言模型 人工智能 自然语言处理
于 2024-07-25 15:35:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/WhiffeYF/article/details/140691551
版权

A Survey on Evaluation of Large Language Models

只取了鲁棒性相关的内容
在这里插入图片描述
LLMs：《A Survey on Evaluation of Large Language Models大型语言模型评估综述》理解智能本质(具备推理能力)、AI评估的重要性(识别当前算法的局限性+设

对抗鲁棒性是衡量大型语言模型（LLMs）在面对故意设计的、旨在误导或破坏模型性能的输入时的稳定性和安全性的关键指标。

  1. 对抗鲁棒性的定义与重要性：对抗鲁棒性关注的是LLMs在遭遇敌意提示或恶意输入时能否维持其性能和安全性。

  2. 对抗性文本攻击的评估：研究者们通过创建统一的基准测试，如PromptBench，对LLMs在不同层次上的对抗性文本攻击进行了评估，发现这些模型在面对精心设计的对抗性输入时存在脆弱性。

  3. 视觉-语言模型的鲁棒性

了解本专栏 订阅专栏 解锁全文 超级会员免费看
A Survey on Evaluation of Large Language Models
c_cpp_csharp的专栏
07-07 2037
大型语言模型（LLM）由于其在各种应用中前所未有的性能，在学术界和工业界都越来越受欢迎。随着LLM在研究和日常使用中继续发挥重要作用，其评估变得越来越重要，不仅在任务层面，而且在社会层面，以更好地了解其潜在风险。在过去的几年里，我们做出了重大努力，从不同的角度来调研LLM。本文对LLM的这些评估方法进行了全面的回顾，重点关注三个关键维度：评估什么、在哪里评估以及如何评估。首先，我们从评估任务的角度进行了概述，包括一般的自然语言处理任务、推理、医学使用、伦理、教育、自然科学和社会科学、代理应用和其他领域。
A Survey of Large Language Models
c_cpp_csharp的专栏
06-15 2994
自从20世纪50年代提出图灵测试以来，人类一直在探索通过机器掌握语言智能。语言本质上是一个由语法规则控制的复杂的人类表达系统。开发能够理解和掌握语言的人工智能算法是一个重大挑战。在过去的二十年里，语言建模作为一种主要的语言理解和生成方法得到了广泛的研究，从统计语言模型发展到神经语言模型。最近，通过在大规模语料库上对Transformer模型进行预训练，提出了预训练语言模型（PLM），在解决各种自然语言处理（NLP）任务方面表现出强大的能力。
论文阅读：A Survey on Evaluation of Large Language Models
CSPhD-winston的博客
07-08 763
大型语言模型（LLMs）在学术界和工业界越来越受欢迎，因为它们在各种应用中的卓越性能。随着LLMs在研究和日常使用中的持续重要性，它们的评估变得日益关键，不仅在任务层面，也在社会层面，以便更好地理解它们的潜在风险。本文全面回顾了LLMs的评估方法，聚焦于三个关键维度：评估什么、在哪里评估、如何评估。基于本综述的分析，作者提出了对现有评估方法的见解，并对未来的研究方向提出了建议。
LLMs：《A Survey on Evaluation of Large Language Models大型语言模型评估综述》理解智能本质(具备推理能力)、AI评估的重要性(识别当前算法的局限性
GitHub质检员
12-09 1047
BenchmarkFocusDomain社会知识社交语言理解多模态LLMs知觉和认知能力全面的领域知识跨多个基准测试的总体表现法律合同审查法律合同理解文本模型多任务准确性数学问题解决数学能力编码挑战能力代码生成能力中文评估中文52个考试语言模型评估任务特定的指标，排行榜排名动态评估自然语言推理，问答，情感，仇恨言论聊天助手众包，Elo评分系统自动化评估指标，鲁棒性，多样性语言模型的透明度多指标LLMs的工具利用能力API调用，API检索，API规划语言模型的能力和局限性。
LLMs：《A Survey on Evaluation of Large Language Models大型语言模型评估综述》理解智能本质(具备推理能力)、AI评估的重要性(识别当前算法的局限性+设
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-30 4446
​ LLMs：《A Survey on Evaluation of Large Language Models大型语言模型评估综述》翻译与解读 LLMs：大型语言模型评估研究综述—理解智能本质(具备推理能力)、AI评估的重要性(识别当前算法的局限性+设计更强大模型的关键工具)、评估LLMs的四大意义、三维度(What+Where+How)综述LLMs评估、LLMs大语言模型的三大关键(Transformer+RLHF+提示工程)、评估LLMs任务六大类(NLURG+REBT+SS+NS+MA+Agent
论文阅读-《A Survey of Large Language Models》
Yogurtboyyy的博客
06-08 1897
LLM综述论文
RAG综述推荐：Retrieval-Augmented Generation for Large Language Models: A Survey
C2580390720的博客
10-09 1011
本文介绍了一篇RAG方向的适合初学者入门的论文综述，能让人对RAG领域有一个清晰的了解。该综述调查了RAG技术的发展及其在不同任务中的应用。目前RAG技术仍有大量的研究机会。
大型语言模型综述，非常详细，格局打开！A Survey of Large Language Models
大模型天花板
04-18 9142
从图灵测试开始讲起，人类一直在探索用机器掌握语言智能的方法。在过去20年，语言模型得到了广泛研究。从统计语言模型到了基于神经网络的语言模型（LSTM等）。最近这些年，通过在大规模语料库（数据集）上对Transformer模型的预训练，提出了预训练语言模型（PLMs），在解决各种自然语言处理（NLP）任务方面显示出了很强的能力。
LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-31 4841
​ Paper：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读 目录 《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读 Abstract摘要 1 Introduction引言 2、Methodology方法 3、Datasets数据集：大多都是英文指令
A Survey on Self-Evolution of Large Language Models
c_cpp_csharp的专栏
08-23 269
大型语言模型（LLM）在各个领域和智能代理应用中取得了显著进展。然而，目前从人工或外部模型监督中学习的LLM成本很高，随着任务复杂性和多样性的增加，可能会面临性能上限。为了解决这个问题，使LLM能够自主获取、改进和学习模型本身产生的经验的自我进化方法正在迅速发展。这种受人类体验式学习过程启发的新训练范式提供了将LLM扩展到超级智能的潜力。在这项工作中，我们对LLM中的自我进化方法进行了全面的调查。
大模型评测方法（一）
最新发布
Guzith的博客
01-10 3355
大模型能够协助我们完成各种任务，改变我们的生产和生活的方式，提高生产力，为我们带来便利，但同时使用过程中也伴随着诸多风险与挑战，如泄露隐私数据，生成带有偏见、暴力、歧视、违反基本道德和法律法规的内容，传播虚假信息等。因此对大模型能力及其不足之处形成更深入的认识和理解，预知并防范大模型带来的安全挑战和风险，需要针对大模型开展多方位的评测，一般也叫大模型基准测试。大模型基准测试体系涵盖了大模型的测评指标、方法、数据集等多项关键要素，是指导大模型基准测试落地实践的规范。
大型语言模型自我进化综述
yorkhunter的博客
05-13 1295
24年4月来自北大的论文“A Survey on Self-Evolution of Large Language Models”。
A Survey on Large Language Model based Autonomous Agents
cdxxsq的博客
04-05 3176
自主代理一直是学术界和工业界的研究重点。以前的研究通常集中在训练在孤立环境中具有有限知识的代理，这与人类学习过程相差甚远，使得代理难以实现类似人类的决策。最近，通过获取大量的网络知识，大型语言模型（LLMs）已经显示出人类水平智能的潜力，导致了对基于LLM的自主代理的研究激增。在本文中，我们提供了这些研究的全面调查，从整体的角度系统回顾了基于LLM的自主代理。我们首先讨论了基于LLM的自主代理的构建，提出了一个统一的框架，涵盖了大部分以前的工作。
众多高校和研究机构联合发表：LLMs评估综述
zenRRan的博客
07-07 268
本篇文章是一份关于大型语言模型评估的综述，涵盖了评估的各种方法，包括评估什么、在哪里评估以及如何评估。进NLP群—>加入NLP交流群文章首先介绍了大型语言模型的发展历程和应用领域，然后详细介绍了大型语言模型的评估方法，包括人工评估、自动评估和基准测试等。接着，文章介绍了大型语言模型在不同任务中的表现，包括文本生成、问答、机器翻译等。最后，文章总结了大型语言模型评估的挑战和未来发展方向。本文结...
AI的自我进化框架：大型语言模型如何不断提升智能水平？
AI_Conf的博客
04-26 1082
大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。
LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力
GitHub质检员
12-08 1990
A Survey of Large Language Models》的翻译与解读地址时间2023年6月29日作者Abstract摘要本文介绍了大语言模型（LLMs）的研究进展(尤其是ChatGPT)，包括其背景、关键发现、主流技术以及未来发展方向，重点关注LLM的四个主要方面：预训练、适应调优、利用和容量评估。总结了开发LLMs的可用资源，并讨论了未来发展方向中的尚存问题。这份调查报告为研究人员和工程师提供了一个最新的LLMs文献综述资源。
实时追踪科研动态丨7.7精选新论文，附ChatPaper综述
AI_Conf的博客
07-07 224
作为科研人员，每天需要检索和浏览大量的学术文献，以获取最新的科技进展和研究成果。然而，传统的检索和阅读方式已经无法满足科研人的需求。ChatPaper，一款集检索、阅读、知识问答于一体的文献知识工具。帮助你快提高检索、阅读论文效率，获取最新领域研究动态，让科研工作更加游刃有余。结合前沿动态订阅功能，精选arXiv当日热门新论文，形成论文综述，让大家更加快速了解前沿动态。链接：https://www.aminer.cn/pub/64a78f1fd68f896efa01eae2/?f=cs。
华中科大：LLM的解释鲁棒性十分脆弱
大模型任我行的博客
09-05 826
理性决策模型在对抗性攻击下是否仍能生成高质量的解释？论文揭示了理性决策模型在解释方面的脆弱性，并提出了一系列增强理由模型解释鲁棒性的建议。
中科大：通过DPO增强LLM的鲁棒性
大模型任我行的博客
08-22 555
如何增强直接偏好优化（DPO）框架，提高LLM对噪声的鲁棒性？论文引入了分布式鲁棒化的DPO（Dr.DPO），通过优化最坏的成对场景，增强了DPO模型的鲁棒性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CSPhD-winston-杨帆

给我饭钱

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值