北大DeepSeek论文或预定ACL Best Paper！梁文锋署名

关注

原创最新推荐文章于 2026-11-10 00:57:14 发布 784 阅读 AI 写同款· GEO 优化 ›

【Python机器学习实战】 | 基于PCA主成分分析技术读入空气质量监测数据进行数据预处理并计算空气质量综合评测结果主成分分析（Principal Component Analysis, PCA）是一种常用的机器学习和数据分析技术，用于降低数据维度、识别数据中的模式、发现变量之间的关系等。阅读详情

来源 | 新智元

重磅惊喜！

北大与DeepSeek合作，并由梁文锋亲自提交到arXiv的论文，将有望斩获ACL 2025最佳论文（ACL Best Paper）。

论文地址：https://arxiv.org/abs/2502.11089

要知道今年的ACL格外的卷，总投稿数高达8000多篇，创历史之最，而ACL 2024总投稿数仅为4407，几乎翻倍！

原生稀疏注意力（Native Sparse Attention，NSA）论文的Meta Review的OA分数已经确认得到了4.5分，这是一个相当高的分数，满分为5分。

按照ACL的OA评分标准，4.5分已经获得了Borderline Award，也就是说非常有望获得ACL这届的最佳论文。

这篇论文的发布在当时引起广泛的社区关注，NSA把AI行业的焦点从「模型规模竞赛」拉向「算力效率竞赛」，堪称2025年上半年最具杠杆效应的底层技术突破之一。

DeepSeek-R1的发布引发了AI行业的「价值重估」，DeepSeek用「低成本+同效能」的开源技术撼动了当时AI界人们固有的「有卡才行」的认知。

而NSA技术进一步实现了「长下文的算力平权」，让开源模型也能达到闭源模型（ChatGPT、Gemini等）才能满足的上下文窗口。

NSA将长文本处理速度提高了最多11倍，该方法结合了算法创新和改进的硬件，提高效率而不用牺牲硬件性能。

NSA的出现，是对传统注意力机制的一次革新，传统模型依赖于全注意力机制，将每个Token与其他所有Token进行比较。

传统机制虽然对于短篇文本有效，但随着文本长度的增加，这一过程会显著变慢，并且计算成本变得非常高。

NSA是DeepSeek-R1「爆火出圈」后的第一篇论文，同时在NSA发布一周后，DeepSeek进行了更广为人知的「开源周」活动分享。

硬件对齐与原生可训练稀疏注意力

为什么要革新传统的注意力机制？

长文本处理能力是新一代语言模型的关键需求，但传统注意力机制带来的巨大计算开销一直是一个棘手的问题。

在这种背景下，稀疏注意力机制展现出了提升计算效率同时又能保持模型性能的巨大潜力。

北大和DeepSeek提出名为NSA的创新性稀疏注意力机制，它能够原生支持训练，通过将算法创新与硬件优化相结合，实现了高效的长文本处理。

NSA采用了动态分层的稀疏策略：在保证全局信息获取的同时，还能够精确捕捉局部细节，这得益于其巧妙结合了粗粒度的令牌压缩和细粒度的令牌选择。

NSA架构如下图所示，通过三条并行的注意力分支来处理输入序列。对于每一个查询（query），前面的键（key）和值（value）会分别被处理成三种不同的注意力方式：

压缩注意力（Compressed Attention），用于捕捉粗粒度的整体模式；
选择性注意力（Selected Attention），专注于重要的词块；
滑动注意力（Sliding Attention），负责获取局部上下文信息。

每条分支所生成的不同注意力模式。图中的绿色区域表示需要计算注意力分数的部分，而白色区域则是可以跳过、不计算的区域。

NSA的主要创新点有两个：一是通过精心设计的算法平衡了计算密度，并针对现代硬件做了专门优化，显著提升了运行速度；二是实现了端到端的训练模式，在确保模型性能的前提下大幅降低了预训练的计算量。

如图1所示，实验结果显示：采用NSA预训练的模型在通用基准测试、长文本处理和指令推理等多个任务上，性能均达到或超过了使用完整注意力机制的模型。

此外，在处理64k长度序列时，无论是decoding、前向传播还是反向传播，NSA都展现出了显著的速度优势，充分证明了它在模型全生命周期中的高效性。

该论文第一作者为北京大学计算机学院硕士生袁境阳（北京大学，导师为张铭教授），合作者包括高华佐（DeepSeek），代达劢（DeepSeek），罗钧宇（北京大学）、肖之屏（华盛顿大学）等。

通讯作者为梁文锋（DeepSeek），曾旺丁（DeepSeek），张铭教授（北京大学）。

录用论文一览

除了NSA论文外，北京大学张铭教授团队的其他论文也同样上榜。

数据为中心视角下大模型的高效后训练

论文名: A Survey on Efficient LLM Training: From Data-centric Perspectives

这是首个从数据中心视角系统性剖析LLM高效后训练的综述。

该文创新性地提出了一个涵盖数据选择、质量增强、合成数据生成、数据蒸馏与压缩及自演化数据生态的分类框架，深入总结了各领域代表性方法并展望未来研究方向，旨在为学界和业界探索大规模模型训练中数据利用的最大潜力提供关键启示。

该论文作者包含罗钧宇（北京大学，导师为张铭教授），吴伯涵（北京大学），罗霄（UCLA），肖之屏（华盛顿大学），靳轶乔（佐治亚理工），涂荣成（南洋理工大学），尹楠（HKUST），王一帆（对外经贸），袁境阳（北京大学），琚玮（四川大学），张铭（北京大学，通讯作者）。

首个金融多模态评估数据集FinMME

论文名：FinMME: A Financial Multi-Modal Evaluation Dataset

为应对金融领域多模态大模型评估的迫切需求，并提供高质量的多模态推理验证数据集。

北京大学Dlib实验室联合香港科技大学等重磅推出了首个大规模、高质量的金融多模态评估数据集FinMME。

该数据集包含超过11,200个金融研究样本，覆盖18个核心金融领域和10种主要图表类型，并引入独创的FinScore评估系统。

实验结果表明，即便是顶尖模型如GPT-4o在FinMME上也面临显著挑战，凸显了其在衡量金融多模态理解与推理能力方面的深度与价值。

论文作者包含罗钧宇（北京大学，导师为张铭教授），寇智卓（HKUST），杨礼铭（北京大学），罗霄（UCLA），黄进晟（北京大学），肖之屏（华盛顿大学），彭靖姝（HKUST），刘程中（HKUST），吉嘉铭（HKUST），刘譞哲（北京大学），韩斯睿（HKUST），张铭（北京大学，通讯作者），郭毅可（HKUST）。