LongBench: 一个双语多任务的长文本理解基准测试

最新推荐文章于 2025-06-09 23:54:15 发布
最新推荐文章于 2025-06-09 23:54:15 发布
阅读量961 收藏 25
点赞数 17
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_56734068/article/details/143180263
版权

LongBench: 开创性的长文本理解评估基准

在人工智能和自然语言处理领域,大语言模型(LLMs)的出现无疑是一场革命。这些模型在各种语言任务中展现出惊人的能力,但它们也面临着一个共同的挑战 - 长文本理解。大多数LLMs只能处理几千个token的输入,这严重限制了它们在处理长篇文档、报告或代码库等场景中的应用。为了推动长文本理解技术的发展,清华大学知识工程实验室(THUDM)团队开发了一个创新性的评估基准 - LongBench。

LongBench的独特之处

LongBench是首个专门针对大语言模型长文本理解能力的双语多任务综合评估基准。它具有以下几个显著特点:

  1. 双语评估: LongBench同时包含中文和英文任务,这使得它能够全面评估模型在不同语言长文本上的表现。

  2. 多任务覆盖: 该基准包含6大类21个不同任务,涵盖了长文本应用的关键场景,如单文档问答、多文档问答、摘要生成、少样本学习、合成任务和代码补全等。

  3. 长文本挑战: LongBench中大多数任务的平均长度在5000到15000词之间,充分测试模型处理长文本的能力。

  4. 自动化评估: 考虑到长文本评估可能涉及高昂的人工标注或API调用成本,LongBench采用了完全自动化的评估方法,以最低成本衡量模型的长文本理解能力。

最低0.47元/天 解锁文章
m0_56734068
关注
ChatGLM 更新：LongBench—评测长文本理解能力的数据集，支持 32k 上下文的 ChatGLM2-6B-32K
强化学习曾小健
08-01 1457
这次更新的还有支持32k上下文的模型： ChatGLM-6B-32k。手快的朋友已经下载了模型，并和自家兄弟 ChatGLM-6B 做了对比：给两个模型分别读了一篇万字文章。每个模型根据文章内容提出自己的问题并回答。剔除了引用无效资料和没有目标对象的问题后，下图是统计结果：从单篇万字文章的统计结果看，ChatGLM-6B-32k 确实提高了知识库调用质量，避免了大量无效输出，可提高效率20%以上。有朋友觉得大模型很笨，希望它能“一发话就知道怎么写”，但现实中的场景是多种多样的，变化无常。
LongAlign：ChatGLM 团队发布的超长文指令数据及训练评估方案
木尧大兄弟
08-24 1698
这是一个由清华 ChatGLM 团队提出的长上下文指令微调数据（64k）、模型训练策略、评测基准 LongBench-Chat 一条龙方案。
LongBench v2：评估长文本+o1？
强化学习曾小健
12-20 806
然而，一个关键的问题仍然存在：这些模型是否真正理解了它们所处理的长文本？评估结果表明，LongBench v2 对当前的 LLMs 来说是一个巨大的挑战，即使是表现最好的模型，在直接输出答案的情况下，也仅取得了 50.1% 的准确率，而引入了更长推理链的 o1-preview 模型则取得了 57.7% 的准确率，超过了人类专家 4%。更高的可靠性： 为了保证评估的可靠性，LongBench v2 的所有问题都采用多项选择题的形式，并经过了严格的人工标注和审核流程，确保数据的高质量。
长文本理解基准测试项目 LongBench 使用教程
gitblog_01139的博客
04-02 967
长文本理解基准测试项目 LongBench 使用教程 LongBench LongBench v2 and LongBench (ACL 2024) 项目地址: https://gitcode.com/gh_mirrors/lo/...
长凳(LongBench)：基于Python的大规模数据处理框架
gitblog_00010的博客
04-26 540
长凳(LongBench)：基于Python的大规模数据处理框架 去发现同类优质开源项目:https://gitcode.com/ 是一个由清华大学大数据挖掘与应用实验室开发的开源项目，它旨在提供一个高效、易用和可扩展的平台，用于大规模数据集的处理和分析。该项目基于Python，利用其丰富的生态系统，为科研和工程领域的大数据工作者提供了强大的工具。 技术分析 1. 分布式计算框架 LongBenc...
LongBench项目安装与配置指南
gitblog_00296的博客
04-02 947
LongBench项目安装与配置指南 LongBench LongBench v2 and LongBench (ACL 2024) 项目地址: https://gitcode.com/gh_mirrors/lo/LongBenc...
一文详看大模型长文本如何评估：四大主流评测数据集的任务设计、数据集构建方案
11-21 7213
本文主要针对长文本评估，梳理了当前具有代表性的长文本评测，包括Zero-SCROLLS、L-Eval、LongBench以及loge四个基准。其中关于数据集的选取，任务的设计，以及对现有模型的评估都具有很好的指引性，对于具体的细节信息，可以对参考文献进行查阅，会有更多的收获。
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
2401_85576118的博客
11-05 1314
LongReward方法在提高模型忠实性方面也显示出效果，通过自动评估模型响应中支持事实的比例，DPO模型使用LongReward的事实得分高于SFT基线，表明LongReward在减少幻觉和提高长上下文LLMs的忠实性方面的有效性。该论文试图解决的问题是如何提高长文本上下文大型语言模型（LLMs）在监督式微调（SFT）中的性能，尤其是在使用由LLMs自身自动合成的数据时，这些数据的质量往往会影响模型的长期上下文处理能力，导致模型存在固有的缺陷，如幻觉和无法充分利用上下文信息。
AI多模态模型架构之LLM主干(1)：ChatGLM系列
AIGCmagic的博客
06-13 2283
模态编码器(Modality Encoder, ME)：负责将不同模态的输入编码成特征。常见的编码器包括图像的NFNet-F6、ViT、CLIP ViT等，音频的Whisper、CLAP等，视频编码器等。输入投影器(Input Projector)：负责将其他模态的特征投影到文本特征空间，并与文本特征一起输入给语言模型。常用的投影器包括线性投影器、MLP、交叉注意力等。语言模型骨架(LLM Backbone)：利用预训练的语言模型，负责处理各种模态的特征，进行语义理解、推理和决策。
NLP高频面试题（二十一）——deepseek V1-V3 分别有哪些改进，这些改进是如何对模型产生影响的
WeLearnNLP
03-28 1040
从 DeepSeek V1 到 V3，短短一年时间内，这一开源模型系列在架构设计、训练规模和能力表现上实现了跨越式发展。V1 时期，研究团队以较低的算力成本奠定了模型基础，通过增加深度、优化超参数和加入更多中文及代码数据，使模型性能超越了同规模的主流开源模型。V2 版本大胆引入 MoE 稀疏架构和 MLA 注意力机制，将模型规模提升数倍的同时显著降低了训练和推理的单位成本；由此带来的性能提升，使开源模型首次逼近了闭源模型的水准。
面向 NLP 任务的大模型 Prompt 设计
机器学习社区
12-20 1981
本文主要介绍了PromptSource英文常用评测任务prompt生成工具包以及现有NLP的一些prompt，这些对我们进行信息抽取等任务有很大的帮助。对于具体的使用，大家可以参考参考文献链接进行进一步查看，并实践。
大模型长文本阅读能力如何评估？
Antai_ZHU的博客
08-15 1097
目前大模型上下文的阅读理解能力提升迅速，各大厂也都在积极整理数据集，类似LongBench的长文本测评数据集还有InfiniteBench、RULER等。第二类思路就是大海捞针，在没有标准验证集的情况下可以自己造数据集，因为可以自己找不相关文本并根据自己插入的文本生成相应问题。原文链接。
LongBench：评估LLM长文本理解和推理能力
gitblog_00112的博客
03-27 274
LongBench：评估LLM长文本理解和推理能力 LongBench LongBench v2 and LongBench (ACL 2024) 项目地址: https://gitcode.com/gh_mirrors/lo/L...
【大模型评测】常见的大模型评测数据集
热门推荐
A-Itfuture的博客
01-17 2万+
同时评测分为两部分，自动化评测的客观题部分和依赖于专家打分的主观题部分，这两部分结果构成了最终的分数，您可以通过构建示例中的脚本快速对一个已部署的大模型进行评测，或者向我们提交您需要评测的模型的主观题预测结果，进行我们人工评分的流水线操作。表述为带有二元选项的填空任务，目标是为需要常识推理的给定句子选择正确的选项。MMLU 是一个包含了 57 个子任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，有效地衡量了人文、社科和理工等多个大类的综合知识能力。
超越“迷失中间”：如何让长上下文问题回答更智能——探索LongRAG的创新
步子哥的博客
10-26 733
更重要的是，LongRAG系统可以在不依赖昂贵的API（如GPT-3.5）的情况下，通过本地部署的小型LLMs实现相似的性能表现，显著降低了使用成本。通过双视角的设计，它有效地克服了传统RAG系统在处理长文档时的局限性，让模型能够在复杂的长文档中找到核心信息。例如，在回答一个关于物理学家爱因斯坦的问题时，如果他的重要成就分散在多个段落中，信息提取器会将这些段落重新组合，确保模型能够捕捉到所有相关的全球背景信息。文档块的切割策略给RAG系统带来了挑战，尤其是当一个文档的关键信息分散在不同的块中时。
NExtLong｜不使用长文档也能训练出来SOTA长文大模型！
李rumor
02-24 537
title作者：高超尘、伍星 等机构：中国科学院信息工程研究所/小红书/清华Arxiv：https://arxiv.org/abs/2501.12766Huggingface：https://huggingface.co/datasets/caskcsg/NExtLong-512K-dataset 目前五个数据集累积下载次数超过1200次。Github：https://github.com/cas...
深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（2）
ak47maker的博客
06-05 587
本文针对ResNet18模型剪枝进行了优化改进，主要包含三个方面：1) 将剪枝目标层从底层conv1调整为中间层layer2.0.conv1，减少对基础特征的破坏；2) 采用基于激活值的前向传播方法评估通道重要性，优先剪除低激活通道；3) 改进微调策略，动态解冻关联层并使用更低学习率(0.0001)进行10轮微调。这些优化有效提升了剪枝后模型的稳定性和性能表现，特别是通过中间层剪枝和基于特征贡献的通道选择策略，避免了底层特征破坏带来的连锁反应。
yolo模型精度提升策略
最新发布
qq_47798402的博客
06-09 203
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
我可以直接使用load_dataset("LongBench/longlamp_review_generation", split="test")这个吗
03-30
### 如何正确使用 `load_dataset` 函数加载 LongBench/longlamp_review_generation 数据集并指定 test 分割 为了加载 Hugging Face Hub 上的 `LongBench/longlamp_review_generation` 数据集，并指定其测试分割 (`test`)，可以按照以下方式实现： #### Python 实现代码 ```python from datasets import load_dataset # 使用 load_dataset 方法加载数据集并指定 test 分割 dataset = load_dataset("LongBench/longlamp_review_generation", split="test") # 打印前几条样本以验证加载成功 print(dataset[:5]) ``` 上述代码通过 `load_dataset` 函数指定了路径 `"LongBench/longlamp_review_generation"` 和分割参数 `split="test"` 来获取目标数据集中的测试部分[^1]。 如果需要进一步处理该数据集（例如将其转化为 PyTorch DataLoader），可参考以下扩展代码： ```python import torch # 将数据集封装为 PyTorch DataLoader train_dataloader = torch.utils.data.DataLoader(dataset, batch_size=32) # 验证 DataLoader 是否正常工作 for batch in train_dataloader: print(batch) break ``` 此代码片段展示了如何将加载的数据集适配至深度学习框架中进行批量训练或推理操作[^2]。 --- ### 关于本地缓存与网络问题的注意事项 当遇到网络连接不稳定或其他原因导致无法顺利下载数据集时，可以通过设置 `cache_dir` 参数手动指定缓存目录来解决问题。例如： ```python from datasets import load_dataset # 设置本地缓存路径 dataset = load_dataset( "LongBench/longlamp_review_generation", split="test", cache_dir="./local_cache" ) ``` 这样可以在离线环境中继续访问已保存的数据集副本[^4]。 另外，对于非常庞大的数据集，可以选择启用流式加载模式 (streaming)，从而减少内存占用： ```python from datasets import load_dataset # 启用流式加载 dataset = load_dataset( "LongBench/longlamp_review_generation", split="test", streaming=True ) # 流式迭代数据 for sample in dataset: print(sample) break ``` 这种方式特别适合处理那些超出设备存储能力的大规模数据集合。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值