论文翻译：ICLR-2024.Oren.PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

已于 2024-10-20 20:16:38 修改
阅读量1.5k 收藏 18
点赞数 14
分类专栏： LLMs-数据污染 论文翻译 文章标签： 语言模型 人工智能 自然语言处理
于 2024-09-07 20:11:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/WhiffeYF/article/details/142001436
版权

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

我复现的源码:https://github.com/Whiffe/test_set_contamination

b站复现视频：https://www.bilibili.com/video/BV14d1CYWE26/

顶会论文复现：PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

Oren等人交换了一些基准测试中问题的顺序，并用生成新数据的方式测试模型，作为检测数据泄露的一种方法。 来自：论文翻译：arxiv-2024 Training on the Benchmark Is Not All You Need

https://openreview.net/forum?id=KS8mIvetg2

验证测试集污染在黑盒语言模型中

文章目录

了解本专栏 订阅专栏 解锁全文 超级会员免费看
论文翻译：arxiv-2024.Xu.Benchmarking Benchmark Leakage in Large Language Models
CSPhD-winston的博客
09-07 1424
随着预训练数据使用的不断扩大，基准数据集泄露现象变得越来越突出，这种情况因大型语言模型（LLMs）训练过程的不透明性以及监督数据的经常未披露的包含而加剧。这个问题扭曲了基准测试的有效性，并促进了可能不公平的比较，阻碍了该领域的健康发展。为了解决这个问题，我们引入了一个利用困惑度和N-gram准确性这两个简单且可扩展的指标来衡量模型在基准测试上的预测精度的检测流程，以识别潜在的数据泄露。通过在数学推理的背景下分析31个LLMs，我们揭示了大量的训练甚至测试集误用的情况，导致可能不公平的比较。
深度｜ICLR 2024最佳论文合辑：AI基准测试，推理，和Agent
强化学习曾小健
07-23 1130
适用于长HTML文档，采用局部和全局注意力机制以及长跨度去噪目标的混合，用于规划和总结。我们通过实验证明，我们的模块化方法将真实网站的成功率提高了50%以上，并且HTML-T5是解决各种HTML理解任务的最佳模型。在MiniWoB网页自动化基准测试中，其成功率比之前的方法高出18.7%，在Mind2Web这一离线任务规划评估中也达到了最新的性能水平。我们介绍了 MetaGPT，一个创新的元编程框架，将高效的人类工作流程整合到基于大型语言模型的multi-agent协作中。
大模型测试集作弊？ICLR论文将leak一网打尽！
Kaiyuan_sjtu的博客
05-18 199
如果你拿一些题库的输入去推大模型的base模型话，会发现他们经常一股脑就把训练过的题库吐露出来了，比如早前大家在百川上讨论过的：目前数据提供商最值钱的数据就是题库了，国内大模型很懂得投机取巧，反正你是知识类客观题评测，我把全网的题库数据都塞进去。实在买不到买不全的数据，我还可以用测试集的每一道题目去反向爬取互联网相关内容，爬不到原题也能找到差不多的数据，再把他们都塞进去，针对性刷题。这就是离线测试...
论文复现：Training on the Benchmark Is Not All You Need
CSPhD-winston的博客
10-08 669
这篇论文还是非常通俗易懂的，就是交换题目的选项顺序，来计算logprobs，查看是否有异常值。
顶会论文复现：PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS
CSPhD-winston的博客
10-07 1008
这篇论文的测试数据污染的方法也是很扯淡的，论文结尾也说了，作者自己的方法得先证明数据集内的题目之间的顺序打乱是否有影响，这不就是扯淡么，训练期间，有个策略就是要每次输入训练时，打乱顺序，训练的时候都打乱了，作者测试期间打乱测的出来个屁呀。这也能发顶会，太离谱了。还有检测时用的logprobs这个值，这个值的低和高不代表污染程度，整个论文让我感到匪夷所思。
大模型数据污染 & 大模型动态评估
CSPhD-winston的博客
09-14 1129
论文翻译：arxiv-2024 Estimating Contamination via Perplexity: Quantifying Memorisation in Language Model 高 论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS 高 论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Sur
论文翻译：arxiv-2024 Training on the Benchmark Is Not All You Need
CSPhD-winston的博客
09-14 1312
Training on the Benchmark Is Not All You Need https://arxiv.org/pdf/2409.01790 标题：基准测试并非你所需的全部 摘要： 大型语言模型（LLMs）的成功在很大程度上依赖于在预训练阶段学习的大量预训练数据。预训练过程的不透明性和训练数据使得许多基准测试的结果变得不可靠。如果任何模型在基准测试集上进行过训练，它将严重阻碍该领域的健康发展。为了自动化和高效地测试大型语言模型的能力，众多主流基准测试采用了多项选择格式。由于多项选择选项内容的
当 Ollama 遇上 OpenVINO™ ：解锁多硬件 AI 推理新范式
OpenVINOCC的博客
04-08 756
OpenVINO™ GenAI 为 Ollama-OV 提供了强大的可扩展性和灵活性，支持speculative decoding，Prompt-lookup decoding， pipeline parallel， continuous batching 等 pipeline 优化技术，为未来更多 pipeline serving 优化奠定了坚实基础。Ollama 提供了极简的模型管理工具链，而 OpenVINO™ 则通过 Intel 硬件（CPU/GPU/NPU）为模型推理提供了高效的加速能力。
ModelScope能干什么？
红衣大叔
04-08 490
ModelScope 以“模型即服务”为核心理念，通过开源共享、社区协作和工具链支持，为 AI 开发者提供了高效、灵活、开放的模型服务平台，助力人工智能技术的广泛应用与创新发展。ModelScope 将持续拓展模型库、优化工具链，并深化社区协作，致力于成为全球领先的 AI 模型服务平台，推动人工智能技术的普惠化与可持续发展。是由阿里巴巴达摩院推出的开源模型库和工具集，旨在为开发者提供高效、便捷的机器学习模型和工具，是一个。
DeepSeek 工业应用领域解决方案
weixin_62200515的博客
04-08 1261
DeepSeek 在工业领域的应用已经取得了显著的成果，通过设备故障诊断、生产流程优化、供应链管理等多方面的智能化解决方案，帮助企业提升了生产效率、降低了成本、提高了产品质量和市场竞争力。同时，DeepSeek 的低代码开发平台和灵活的部署方式也为企业的数字化转型提供了强大的支持。
【AIGC】零样本学习方法综述(TPAMI 2023 研究综述)
qq_45752541的博客
04-07 1478
广义零样本学习 ，即 Generalized Zero-Shot Learning（GZSL）的目的是在监督学习过程中某些输出类未知的条件下，训练一个模型来对数据样本进行分类；GZSL利用已看到（源）和看不见（目标）类的语义信息来弥补看见类和看不见类之间的差距。自其引入以来，许多GZSL模型已经被制定出来。在这篇综述论文中，我们对GZSL进行了全面的综述。首先，提供了一个GZSL的概述，包括问题和挑战。然后，我们引入了GZSL方法的分类，并讨论了每个类别中的代表性方法。此外，
如何防止金融行业公司敏感数据泄漏
jinan886的博客
04-10 848
防止金融行业公司敏感数据泄漏需要采取多层次、全方位的安全策略，结合技术、管理和人员培训等措施。
Inverse Reinforcement Learning with Natural Language Goals论文阅读
weixin_45403853的博客
04-08 308
Inverse Reinforcement Learning with Natural Language Goals论文阅读简报
具身机器人中AI（DEEPSEEK）与PLC、驱动器协同发展研究：突破数据困境与指令精确控制（2）
Wnq10072的博客
04-10 948
在具身机器人的实际运行过程中，数据采集面临着诸多严峻挑战。驱动器和 PLC 作为机器人控制系统的关键部件，其故障频发给数据采集带来了极大的阻碍。当驱动器出现故障时，如电机驱动器的功率模块损坏，会导致电机无法正常运转，机器人的运动状态出现异常，此时采集到的数据将无法准确反映机器人的正常工作状态，甚至可能出现错误的数据，影响后续的分析和决策。PLC 的故障同样会对数据采集造成严重影响，例如 PLC 的 CPU 故障可能导致程序运行中断，无法及时采集和传输传感器数据，使得数据出现缺失或不完整的情况。​
关于深度学习局部视野与全局视野的一些思考
最新发布
qq_42212501的博客
04-11 453
假设有一个 3×3 的卷积核，它在输入图像上滑动，那么这个卷积核一次只看输入图像的 一个 3×3 小块，所以，输出特征图中的每个点，感受野就是 3×3。我们都知道，CNN是通过卷积核来提取图像特征的，直观上来看，最让人注意到的就是通过卷积之后图像变小了，这就像是将一个大的图像压缩成一个小的特征图，我之前更多关注的是，这样做降低了计算压力。第3层：继续类推，它的输出每个点能“看到”上层输入中的 3×3→ 上层输入的每个点又看到 5×5→ 最终这个输出的每个点可以看到原图中的 7×7 区域。
难度偏低，25西电人工智能学院821、833、834考研录取情况
qq_30953547的博客
04-11 367
难度偏低，25西电人工智能学院821、833、834考研录取情况
国家互联网信息办公室关于发布生成式人工智能服务已备案信息的公告
meidaoliha的博客
04-09 269
促进生成式人工智能服务创新发展和规范应用，网信部门会同相关部门按照《生成式人工智能服务管理暂行办法》要求，有序开展生成式人工智能服务备案工作，现将已备案信息予以公告。提供具有舆论属性或者社会动员能力的生成式人工智能服务的，可通过属地网信部门履行备案程序，属地网信部门应及时将已备案信息对外公开发布，我办将在官网定期汇总更新，不再另行公告。已上线的生成式人工智能应用或功能，应在显著位置或产品详情页面公示所使用已备案生成式人工智能服务情况，注明模型名称及备案号。其中模型备案及登记以京沪广浙为主。
BOTA六维力矩传感器如何打通机器人AI力控操作的三层架构？感知-决策-执行全链路揭秘
欣佰特cnbestec的博客
04-09 477
三层AI架构由感知层、决策层和执行层组成，每一层在机器人的操作中都扮演着独特角色。感知层负责收集环境中的实时数据，如力、力矩和位置等信息；决策层基于这些数据生成具体的操作指令；而执行层将这些指令转化为实际的机械动作，完成任务。这种分层设计使得机器人能够高效处理复杂任务，提升自主性和操作精度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CSPhD-winston-杨帆

给我饭钱

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值