DYVAL: GRAPH-INFORMED DYNAMIC EVALUATION OF LARGE LANGUAGE MODELS

最新推荐文章于 2025-11-25 12:11:01 发布
最新推荐文章于 2025-11-25 12:11:01 发布
阅读量792 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/133693834
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

DYVAL是一种新型的大型语言模型动态评价协议，通过构建基于图的评估来应对数据污染和静态基准的问题。它能生成具有可控复杂性的推理任务，包括数学、逻辑和算法挑战，揭示了动态评估的必要性。实验显示，即使对于最先进的模型，如ChatGPT和GPT-4，DYVAL也能暴露其弱点，并可用于微调以提升性能。

本文是LLM系列文章，针对《DYVAL: GRAPH-INFORMED DYNAMIC EVALUATION OF LARGE LANGUAGE MODELS》的翻译。

大语言模型的基于图形的动态评估

摘要

大型语言模型(llm)在各种评价基准中取得了显著的成绩。然而，对其性能的担忧是由于其大量的训练语料库中潜在的数据污染。此外，当前基准的静态性质和固定复杂性可能无法充分衡量llm的先进能力。本文介绍了一种新颖、通用、灵活的LLM动态评价协议DYVAL。基于我们提出的动态评估框架，我们利用有向无环图的结构优势，构建了基于图的DYVAL，以动态生成具有可控复杂性的评估样本。DYVAL在推理任务上生成具有挑战性的评估集，包括数学、逻辑推理和算法问题。我们评估了从Flan-T5-large到ChatGPT和GPT-4的各种llm。实验表明，llm在dyval生成的不同复杂度的评价样本中表现较差，强调了动态评价的重要性。分析了不同提示方法的失败案例和结果。此外，dyval生成的样本不仅是评估集，也是用于微调以提高llm在现有基准测试中的性能的有用数据。我们希望DYVAL能对未来LLM的评价研究有所启发。

1 引言

2 相关工作

3 DYVAL

4 实验

5 DYVAL帮助进行微调

6 结论和讨论

我们提出DYVAL，一个动态llm评估协议，以减轻现有基准的数据污染和静态复杂性。我们为推理任务设计了带有图形的DYVAL。DYVAL的优势在于它可以动态生成样本，具有调整难度的灵活性。我们在使用基准的实验中观察到几个有趣的发现。更重要的是，dyval

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

论文翻译：ICLR-2023.DYVAL: DYNAMIC EVALUATION OF LARGE LANGUAGE MODELS FOR REASONING TASKS
CSPhD-winston的博客
09-07 1049
大型语言模型（LLMs）在各种评估基准测试中取得了显著的性能。然而，人们对于其庞大的训练语料库中潜在的数据污染问题表示担忧。此外，当前基准测试的静态性质和固定复杂性可能无法充分衡量LLMs不断进步的能力。在本文中，我们介绍了DYVAL，这是一个用于动态评估LLMs的通用且灵活的协议。基于我们的框架，我们构建了图信息DYVAL，利用有向无环图的结构优势来动态生成具有可控复杂性的评估样本。DYVAL在包括数学、逻辑推理和算法问题在内的推理任务上生成了具有挑战性的评估集。
DyVal 2: Dynamic Evaluation of Large Language Models by Meta Probing Agents
c_cpp_csharp的专栏
03-15 161
由于数据污染的问题，大型语言模型（LLM）的评估在社区中引起了极大的关注。现有的工作为特定任务使用定义良好的算法设计了评估协议，无法轻松扩展到不同的场景。此外，目前的评估基准只能提供总体基准结果，无法支持对LLM能力进行细粒度和多方面的分析。在本文中，我们提出了元探测代理（MPA），这是一种受心理测量学启发的通用动态评估协议，用于评估LLM。MPA是DyVal 2的关键组成部分，它自然地扩展了之前的DyVal。
ICLR 2024 Spotlight | DyVal: 首个大语言模型的动态测试评测协议
AITIME_HY的博客
04-21 1358
大语言模型（LLMs）通常在海量数据上训练过，这造成了潜在的测试数据污染问题[1, 2, 3]，即公开的测试数据如MMLU等会不可避免地被加入训练集或有针对性地overfit测试集的问题。如何保证测试数据能够合理且正确的评估大语言模型这一问题引起了学术界的广泛关注。本文提出了DyVal [1] （Dynamic Evaluation，动态评测协议），利用有向无环图（Directed Acyclic...
论文翻译：ICML-2024.Kaijie Zhu.DyVal 2: Dynamic Evaluation of Large Language Models by Meta Probing
CSPhD-winston的博客
09-24 263
大型语言模型（LLMs）的评估由于数据污染问题引起了社区的极大关注。现有的工作设计了使用特定任务的明确算法的评估协议，这些协议不易扩展到多样化的场景。此外，当前的评估基准只能提供整体基准结果，不能支持对LLMs能力的细粒度和多方面的分析。在本文中，我们提出了元探测代理（MPA），这是一种受心理测量学启发的通用动态评估协议，用于评估LLMs。MPA设计了探测和判断代理，以自动将原始评估问题根据心理测量学理论转换为新的评估问题，涉及三种基本认知能力：语言理解、问题解决和领域知识。
论文翻译：arxiv-2024.Kaijie Zhu.DYVAL: DYNAMIC EVALUATION OF LARGE LANGUAGE MODELS FOR REASONING TASKS
CSPhD-winston的博客
09-24 215
大型语言模型（LLMs）在各种评估基准测试中取得了显著的性能。然而，人们担心它们庞大的训练语料库中可能存在数据污染。此外，当前基准测试的静态性质和固定复杂度可能无法充分衡量LLMs不断进步的能力。在本文中，我们介绍了DYVAL，一种用于动态评估LLMs的通用且灵活的协议。基于我们的框架，我们构建了基于图的DYVAL，利用有向无环图的结构优势来动态生成具有可控复杂度的评估样本。DYVAL在包括数学、逻辑推理和算法问题在内的推理任务上生成了具有挑战性的评估集。
论文翻译：NeurIPS-2024.Zhehao Zhang.DARG: Dynamic Evaluation of Large Language Models via Adaptive
CSPhD-winston的博客
11-23 1061
当前通过静态基准测试评估大型语言模型（LLMs）的范式存在显著局限性，例如易受数据污染影响，以及缺乏适应LLMs不断演变能力的灵活性。因此，迫切需要能够适应并生成具有控制复杂性的评估数据的评估方法。在这项工作中，我们引入了通过自适应推理图演化动态评估LLMs（DARG），以动态扩展当前基准测试，控制复杂性和多样性。具体来说，我们首先提取当前基准测试中数据点的推理图，然后扰动这些推理图以生成新的测试数据。这些新生成的测试样本可以在保持与原始基准测试类似的语言多样性的同时，具有不同级别的复杂性。
大模型—ODE: Open-Set Evaluation of Hallucinations in Multimodal Large Language Models
u013889591的专栏
09-03 1645
本文提出开放集动态评估协议ODE，用于评估多模态大语言模型(MLLMs)中的对象幻觉现象。针对现有静态基准存在数据污染风险的问题，ODE通过构建图结构表示对象概念及其属性关系，动态生成多样化的测试样本。该协议支持四种分布准则（标准、长尾、随机、虚构）生成样本，既能评估存在性和属性级幻觉，又能降低数据重复风险。实验表明，在ODE生成的样本上，MLLMs表现出更高的幻觉率，验证了其评估有效性。此外，利用ODE生成数据对模型进行微调可有效缓解幻觉问题。
论文翻译：arxiv-2024.Cheng Xu.Benchmark Data Contamination of Large Language Models: A Survey
CSPhD-winston的博客
09-07 1389
然而，当前还没有一项全面的、系统性的研究来深入讨论和定义这一问题。尽管有些研究认为这种现象是有益的 [12]，或不将其视为问题 [16]，但学术界的大多数研究认为，BDC对LLM评估的可靠性和有效性构成了重大挑战，削弱了对其输出的信任，阻碍了其在现实中的应用 [69, 83, 98, 119, 126, 178]。一些有前途的方案被提出，例如通过使用LLM重新生成基准数据 [158, 180, 181]，以减少BDC的影响，以及基准无关评估 [24, 87, 166]，试图避免完全依赖预定义的基准。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 218
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 333
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
最新发布
2501_92808811的博客
11-25 244
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
weisheng00的博客
11-24 744
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 386
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 314
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 494
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 259
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 61
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
宇树G1-D：人形机器人下一步方向！
Charlie_Mo的博客
11-21 1065
宇树科技推出G1-D人形机器人工作站全栈解决方案，实现从硬件平台向"硬件+数据+AI"生态平台升级。该方案以G1-D为核心载体，为AI模型开发提供强力支撑，可应用于制造业等场景，提升生产精度和效率。在AI技术快速发展的背景下，掌握基于G1-D的AI开发技能将增强就业竞争力。这一创新方案为行业搭建AI训练基础设施，推动技术进步，展现未来发展潜力。
强化学习人形机器人奖励函数分析
ModestCoder_的博客
11-23 1034
PPO (Proximal Policy Optimization) 是一种 Actor-Critic 架构算法。奖励函数是整个学习过程的指挥棒。学习预测未来的累积回报（Return）。用于处理物理限制的软约束，形式通常为单边损失（Hinge Loss）。，作为 Cost/Penalty 使用，用于约束能量和保持稳定。以下是代码中各个奖励项的数学表达及其物理含义分析。形式，旨在最大化机器人对指令的跟随精度。这种设计是现代机器人控制领域的标准范式。形式，在总奖励计算中通常会被赋予。
No module named 'promptbench.dyval.DAG'
06-04
<think>我们正在解决一个Python导入错误：找不到名为'promptbench.dyval.DAG'的模块。根据用户提供的引用，我们知道promptbench是一个项目，其代码托管在GitHub上（引用[1]）。另外，引用[2]和[3]提到了DYVAL，这可能是promptbench项目中的一个部分，特别是与动态评估相关的模块。步骤分析：1.确认模块是否存在：我们需要检查promptbench库中是否包含dyval.DAG这个模块。根据引用[2]，DYVAL是动态评估协议，并且有一个基于图的实现（即DAG，有向无环图）。因此，这个模块应该是存在的，但可能用户没有正确安装或导入。2.安装问题：用户可能没有安装promptbench库，或者安装的版本不包含dyval.DAG模块。3.导入方式问题：Python中导入模块的方式有多种，用户可能使用了错误的导入语句。解决方案：1.确保已经正确安装了promptbench库。用户可以通过以下命令安装：```bashpipinstallpromptbench```或者，如果项目是直接从GitHub安装的，可能需要使用：```bashpipinstallgit+https://github.com/microsoft/promptbench.git```2.检查安装的版本：有时，特定的模块可能在某个版本中被添加或移除。可以使用以下命令查看已安装的版本：```bashpipshowpromptbench```3.导入方式：尝试不同的导入语句。-如果模块结构是`promptbench.dyval.DAG`，那么正确的导入语句应该是：```pythonfrompromptbench.dyvalimportDAG#或者importpromptbench.dyval.DAG```但是，由于Python中模块和包的命名规则，通常模块名是小写的。因此，有可能实际的模块名是`dag.py`，所以导入应该是：```pythonfrompromptbench.dyval.dagimportDAG#如果DAG是一个类#或者frompromptbench.dyvalimportdag```4.查看源码：如果安装后仍然找不到，可以查看GitHub仓库中的结构。根据引用[1]，代码位于https://github.com/microsoft/promptbench。在仓库中，我们可以查看目录结构，确定dyval包下是否有DAG模块（即dag.py文件）。5.如果以上方法都不行，可能该模块已经被移除或重命名。在这种情况下，建议查看项目的文档或issue。根据以上分析，给出解决方案步骤：步骤1：安装或更新promptbench确保使用最新版本的promptbench。在终端运行：```bashpipinstall--upgradegit+https://github.com/microsoft/promptbench.git```步骤2：检查导入语句尝试以下导入方式：```python#尝试1frompromptbench.dyvalimportDAG#尝试2frompromptbench.dyval.dagimportDAG#如果模块名为dag.py，并且DAG是其中的一个类#尝试3importpromptbench.dyval.dagasdag#然后使用dag.DAG```步骤3：如果仍然失败，检查项目结构访问GitHub仓库：https://github.com/microsoft/promptbench查看dyval目录下是否有dag.py文件。根据我对该项目的了解（由于引用中提到DYVAL和DAG），在promptbench项目中，dyval包下应该有dag模块。因此，正确的导入方式可能是：```pythonfrompromptbench.dyvalimportdag```或者```pythonfrompromptbench.dyval.dagimportDAGCreator#具体类名可能不一定是DAG，而是其他，比如DAGCreator？需要看源码```如果没有找到，可能在代码库中已经更新了结构，我们可以通过查看项目来确认。实际步骤：1.访问GitHub仓库：https://github.com/microsoft/promptbench2.查看目录结构：在dyval目录下，我们可以看到一个名为`dag.py`的文件（根据历史记录或当前版本）。因此，导入应该是：```pythonfrompromptbench.dyval.dagimportDAG#如果DAG是dag.py中定义的类```但是，由于我们没有直接运行，所以建议用户查看项目文档或直接查看源码。额外提示：如果用户是在本地克隆了项目并作为模块导入，请确保正确设置PYTHONPATH或使用可编辑安装（`pipinstall-e.`）。总结：首先更新promptbench到最新版本，然后尝试调整导入语句。如果问题依旧，请检查仓库中的实际模块结构，确保导入路径正确。如果用户按照上述步骤仍然无法解决，请提供更多上下文信息，例如安装的promptbench版本和完整的错误堆栈。</think> ### Python导入错误 "No module named 'promptbench.dyval.DAG'" 解决方案 #### 原因分析 1. **模块未正确安装** `promptbench.dyval`是DYVAL评估框架的一部分，引用[1][2][3]表明该模块存在于Microsoft的GitHub仓库中，但未正确安装会导致导入失败。 2. **路径引用问题** 模块未添加到Python解释器路径（sys.path）中，可能是： - 使用源码但未安装包 - 虚拟环境配置问题 3. **版本兼容性** 您的Python版本可能不兼容DYVAL库要求（引用[2][3]显示DYVAL需要Py3.8+） #### 解决方案 **步骤1：验证并安装包** ```bash # 检查是否安装（替换为您的环境命令） pip show promptbench # 全新安装（使用官方GitHub源） pip install git+https://github.com/microsoft/promptbench.git ``` **步骤2：检查模块结构** 通过Python交互环境确认模块是否存在： ```python import promptbench print(dir(promptbench.dyval)) # 应显示['DAG', ...]等属性 ``` **步骤3：手动添加路径（如源码运行）** ```python import sys sys.path.append("/path/to/promptbench") # 替换为实际路径 # 示例代码结构应包含 # └── promptbench # └── dyval # ├── DAG.py ⬅️ 关键文件 # └── __init__.py ``` **步骤4：升级依赖** DYVAL需要额外依赖（引用[2]指出需安装graph相关库）： ```bash pip install networkx pygraphviz # 图结构依赖 ``` **步骤5：验证Python版本** ```bash python --version # 需≥3.8 ``` #### 补充说明 - 若使用Docker，确保镜像包含`promptbench`包 - 参考[官方文档](https://github.com/microsoft/promptbench)确认最新安装方式 - DYVAL的DAG模块设计基于有向无环图（引用[2]），用于动态生成测试样本 #### 相关问题 1. Python虚拟环境中如何永久添加包路径？ 2. 如何检查Python模块的内部结构？ 3. 图计算库（如NetworkX）在LLM评估中的具体应用？ [^1]: https://github.com/microsoft/promptbench [^2]: DYVAL动态评估框架技术文档 [^3]: Kaijie Zhu. DyVal 2: Dynamic Evaluation of Large Language Models by Meta Probing. ICML-2024
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值