稀疏注意力、视觉语言新突破：本周Hugging Face TOP 10论文速览

最新推荐文章于 2025-05-12 13:00:35 发布
最新推荐文章于 2025-05-12 13:00:35 发布
阅读量286 收藏
点赞数
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247656062&idx=4&sn=c8dc4d5553c4a8fe33d3f8c397e03a6b&chksm=cf0b1c477feb4463379d64a2f1314ad048b060b7d1c6d32e3a2894dea90a4f76c3c32f48cc37&scene=126&sessionid=0

作者 | 书生·浦语等LLM 编辑 | 机智流

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『自动驾驶』技术交流群

本文只做学术分享，如有侵权，联系删文

各位AI爱好者，本周Hugging Face Daily Papers又带来了一波前沿研究成果！从长上下文建模到多模态视觉语言模型，再到AI研究Agent的新框架，TOP 10论文亮点满满，投票数火爆，值得一读！以下是简要介绍，快来一起看看吧～

1. Native Sparse Attention 🚀（129票）

🔗 https://huggingface.co/papers/2502.11089
🔥 NSA（Native Sparse Attention）来了！针对长上下文建模的高计算成本问题，NSA通过动态层次稀疏策略和硬件优化，实现高效建模。实验证明，它在64k序列上大幅提速，同时性能媲美甚至超全注意力模型。效率与能力双赢！

2. Qwen2.5-VL Technical Report 🔥（128票）

🔗 https://huggingface.co/papers/2502.13923
🚀 Qwen视觉语言系列旗舰升级！Qwen2.5-VL在视觉识别、文档解析和长视频理解上表现亮眼，支持动态分辨率处理，能精准定位对象并提取结构化数据。72B模型直逼GPT-4o，文档理解更是强到飞起！

3. MLGym: AI研究Agent新框架 🚀（121票）

🔗 https://huggingface.co/papers/2502.14499
🔥 Meta MLGym和MLGym-Bench首次为AI研究任务打造Gym环境，涵盖13个开放性任务。测试结果显示，即便是前沿LLM也难生成新颖假设，暴露了AI研究能力的瓶颈。开源框架已就位，等你来挑战！

4. SuperGPQA: 285学科LLM评估 🔥（78票）

🔗 https://huggingface.co/papers/2502.14739
🚀 覆盖285个学科的超大基准SuperGPQA登场！通过Human-LLM协作筛选题目，测试LLM的知识与推理能力。结果表明，即便是DeepSeek-R1也只有61.82%的准确率，AGI还有很长的路要走。

5. SigLIP 2: 多语言视觉编码器 🚀（77票）

🔗 https://huggingface.co/papers/2502.14786
🔥 SigLIP 2在图像-文本任务上全面升级，加入自监督损失和数据筛选技术，支持多分辨率输入。性能提升的同时，还优化了多语言理解和公平性，提供从86M到1B的多种模型选择。

6. Soundwave: 高效语音-文本对齐 🔥（73票）

🔗 https://huggingface.co/papers/2502.12900
🚀 Soundwave用1/50的训练数据打败Qwen2-Audio！通过新型架构和高效策略解决语音与文本的表示差距问题，翻译和语音任务表现抢眼。开源项目已上线，快去体验！

7. Cramming 1568 Tokens into a Vector 🚀（57票）

🔗 https://huggingface.co/papers/2502.13063
🔥 将1568个Token压缩进一个向量？这篇论文探索了嵌入空间的极限，发现x1500的压缩比是可行的！研究表明，压缩极限取决于序列的不确定性，揭示了模型设计的巨大优化空间。

8. The Danger of Overthinking 🔥（52票）

🔗 https://huggingface.co/papers/2502.08235
🚀 大型推理模型（LRM）也会“想太多”？论文分析了过思考的三种模式：分析瘫痪、错误行动和过早放弃。减少过思考可提升30%性能并降低43%计算成本，实用性拉满！

9. How Much Knowledge in a LoRA Adapter? 🔥（50票）

🔗 https://huggingface.co/papers/2502.14502
🚀 LoRA适配器能塞多少新知识？研究发现，混合已知和新事实的训练数据效果最佳，但仍可能损害模型的通用能力。如何平衡新知识与性能，值得深思。

10. Continuous Diffusion for Language Modeling 🚀（48票）

🔗 https://huggingface.co/papers/2502.11564
🔥 扩散模型也能玩语言建模！通过连续流设计和径向对称训练框架，这篇论文让扩散模型性能逼近自回归模型，开源代码已就位，赶紧去试试！

以上就是本周TOP 10论文速览！从效率优化到多模态突破，再到AI研究能力的探索，这些成果为未来的技术发展指明了方向。想了解更多？戳链接直达论文全文吧！💡 下周见！

-- 完 --

① 自动驾驶论文辅导来啦

26fea492420be3caf7283edff1189411.jpeg

② 国内首个自动驾驶学习社区

『自动驾驶之心知识星球』近4000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（端到端自动驾驶、世界模型、仿真闭环、2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎扫描加入

4f7e0f493545fe26629620c0bc6bc128.png

 ③全网独家视频课程

端到端自动驾驶、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

fca6efa57ef3befc1bfae1a778a14f6d.png

网页端官网：www.zdjszx.com

④【自动驾驶之心】全平台矩阵

b2c5ea57def7a12a5edb0de6c9bb2c71.png

大语言模型原理与工程实践：大语言模型的缩放定律
AI天才研究院
07-04 991
近年来，大语言模型（Large Language Models，LLMs）在自然语言处理领域取得了突破性进展。从GPT-3到ChatGPT，再到最新的GPT-4，这些模型展现出惊人的语言理解和生成能力，引发了学术界和工业界的广泛关注。在这一系列的发展中，一个引人注目的现象逐渐浮现：随着模型规模的增大，其性能似乎遵循某种可预测的规律。这种规律被称为"缩放定律"（Scaling Laws），它不仅揭示了大语言模型性能提升的内在机制，也为未来模型的设计和优化提供了重要指导。
大语言模型应用指南：从人工智能的起源到大语言模型
AI天才研究院
06-27 1825
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
SuperGPQA：全面评估大规模语言模型的跨学科能力
gitblog_01163的博客
04-01 714
SuperGPQA：全面评估大规模语言模型的跨学科能力 项目介绍 SuperGPQA 是一个全面的评估框架，旨在衡量大规模语言模型（LLM）在285个不同学科领域的知识和推理能力。该项目采用了一种创新的Human-LLM协作过滤机制，通过迭代改进，依据LLM的响应和专家的反馈，消除那些显而易见或模糊不清的问题。实验结果表明，当前最先进的大规模语言模型在多个知识领域中仍存在较大的提升空间，突显了现有...
SuperGPQA: 突破285个学科边界的AI评测新范式-探索大语言模型的真实能力边界
DataAnnotation的博客
03-24 1024
SuperGPQA 的开源发布不仅填补了AI评测领域的重要空白，更开创了一个新的研究范式。
【AI论文】SuperGPQA: 跨285个研究生学科的大型语言模型评估扩展
m0_66899341的博客
02-22 1148
实验结果表明，当前最先进的LLMs在不同知识领域（例如，以推理为重点的模型DeepSeek-R1在SuperGPQA上取得了最高的61.82%准确率）的表现仍有显著提升空间，凸显了当前模型能力与通用人工智能之间存在的巨大差距。其次，项目团队提出了一种新颖的人机协作过滤机制，通过迭代精炼的方式消除琐碎或模糊的问题，从而提高了评估的针对性和有效性。实验结果表明，在不同轮次的评估中，模型的表现具有较高的一致性，表明SuperGPQA数据集的评估结果是稳定和可靠的。
GPQA （Graduate-Level Google-Proof Q&A Benchmark） 数据集
No trade is free, but my contents are.
02-15 1909
它提醒我们：在追求技术突破的同时，如何确保AI始终服务于人类的知识探索，仍是亟待解决的挑战。正如论文作者所言，只有当监督协议能够驾驭“超越人类的AI”时，我们才能真正释放其推动科学进步的潜力。当AI能力超越人类时，如何确保其输出的真实性？GPQA通过提供接近人类知识边界的难题，帮助研究者设计新的监督协议，例如让非专家通过AI辅助验证答案。（Graduate-Level Google-Proof Q&A Benchmark）的基准测试，旨在通过一系列“防谷歌”的难题，推动AI与人类协作的监督方法研究。
「科学推理」中文基准测评（SuperCLUE-Science）方案发布
HyperAI超神经
01-06 285
随着人工智能技术的飞速发展，大语言模型在研究生级别的高难度科学题目上的推理能力已经成为了研究的热门话题。以 OpenAI 为例，其在 12 月初正式发布的新模型 OpenAI o1 展现了强大的科学推理能力，o1 在测试研究生级别的物理、化学和生物学专业知识的基准 GPQA-Diamond 上表现惊人，展现了比肩人类博士级别的能力。为了更有效地评估大模型在这方面的表现，尤其是考虑到国内正在涌现出大...
AIGC领域注意力机制：开启智能创作新大门
AI 领航者的博客
05-12 596
本文旨在全面解析注意力机制在AIGC领域的应用原理和技术实现。注意力机制的基本概念和数学原理在Transformer架构中的具体实现在文本、图像、音频等AIGC任务中的应用实际项目中的最佳实践和优化技巧文章首先介绍注意力机制的基础知识，然后深入其数学原理和实现细节。接着通过实际案例展示其在AIGC中的应用，最后讨论未来发展方向和挑战。AIGC：人工智能生成内容，指利用AI技术自动生成文本、图像、音频等内容注意力机制：一种模拟人类注意力分配的计算机制，能够动态关注输入数据的不同部分。
局部-稀疏注意力混合模型
03-23
好的，我现在需要处理用户关于局部-稀疏注意力混合模型的查询。首先，用户要求了解该模型的实现方法、介绍、相关论文和代码。根据提供的引用内容，我需要整合信息并生成回答。 首先，查看用户提供的引用。引用[4]...
一切皆是映射：自然语言处理(NLP)中的AI技术
AI天才研究院
04-19 579
一切皆是映射：自然语言处理(NLP)中的AI技术 1. 背景介绍 1.1 自然语言处理的重要性 在当今的数字时代,人机交互已经成为不可或缺的一部分。自然语言处理(NLP)作为人工智能的一个重要分支,旨在使计算机能够理解和生
【AI大模型评测】基准测试
AI_Gump的博客
04-28 4532
【多模态LLM】MMMU：面向专家通用人工智能的大规模跨学科多模态理解和推理基准 - 知乎 (zhihu.com)精心收集了来自大学考试、测验和教科书的11.5K个多模态问题跨越艺术与设计、商业、科学、健康医学、人文社会科学、技术工程等30个学科和183个子领域包含30种异构的图像类型，如图表、图示、地图、表格、乐谱和化学结构式关注特定领域知识的高级感知和推理MMMU基准对现有大语言模型是一个巨大的挑战:#GPT4V的准确率只有56%，显示了言语模型进一步发展的广阔前景。
【隆重发布】Facebook 发布深度学习工具包PyTorch Hub，让论文复现变得更容易，一行代码调用经典模型
python深度学习笔记,一起学习的加QQ2737499951
06-12 1374
【隆重发布】Facebook 发布深度学习工具包PyTorch Hub，让论文复现变得更容易，一行代码调用经典模型 可以加群264191384 注明（pytorch） - 6月11日，Facebook PyTorch 团队发布了一个深度学习工具包 PyTorchHub， 帮助机器学习工作者更快实现重要论文的复现工作。PyTorchHub 由一个预训练模型仓库组成，专门用于提高研究工作的...
Hugging Face出品:如何快速跟上NLP领域最新技术？
金石软件
05-23 3540
【导读】Hugging Face团队的大牛们，在博客上分享了自己认为的，能够帮助你了解自然语言处理前沿问题和技术的论文列表，小编将文章翻译成了中文，大家一起来看看吧。 原文地址： https://medium.com/huggingface/the-best-and-most-current-of-modern-natural-language-processing-5055f409...
Huggingface简介及BERT代码浅析
qq_15821487的博客
08-18 2009
本文为预训练语言模型专题系列第六篇快速传送门[萌芽时代]，[风起云涌]，[文本分类通用技巧]，[GPT家族]，[BERT来临]感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红色框为已介绍的文章。本期的内容是结合Huggingface的Transformers代码，来进一步了解下BERT的pytorch实现，欢迎大家留言讨论交流。Hugging face 简介Hugging face 是一家总部位于纽约的聊天机器人初创服务商，开发的应用在青少年中
spring-aop-5.3.7.jar中文文档.zip
07-18
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
baiganqing_Problem-Solving-with-Algorithms-and-Data-Structures-Using-Python_47620_1752834549389.zip
最新发布
07-18
baiganqing_Problem-Solving-with-Algorithms-and-Data-Structures-Using-Python_47620_1752834549389
局域网IP端口扫描工具，支持自动获取网段，端口查询设置 可视化显示扫描结果
07-18
局域网IP端口扫描工具，支持自动获取网段，端口查询设置 可视化显示扫描结果
HikariCP-2.7.8.jar中文文档.zip
07-18
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
kubernetes-client-5.8.0.jar中文文档.zip
07-18
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值