Qwen2.5更新百万超长上下文，推理速度4.3倍加速，网友：RAG要过时了

转载 于 2024-11-19 18:32:50 发布 · 1.9k 阅读 · 20 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247759738&idx=5&sn=57eea739fa8f58d8049fd0c3e80041fe&chksm=e959ddece70d608f5d3dbbbb5892aaa92a1ae4df358d0930223f17d5e3744449a14b2bf1fc1b&scene=126&sessionid=0

鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI

国产大模型，最近有点卷。

这不，刚在写代码这事儿上刷新SOTA，Qwen2.5系列又双叒突然更新了——

一口气读三本《三体》不费事，并且45秒左右就能完整总结出这69万token的主要内容，be like：

还真不是糊弄事儿，“大海捞针”实验显示，这个全新的Qwen2.5-Turbo在100万token上下文中有全绿的表现。

也就是说，这100万上下文里，有细节Qwen2.5-Turbo是真能100%捕捉到。

ec2cbb135f05591fb224577fdd0cbbf8.png

没错，Qwen2.5系列新成员Qwen2.5-Turbo，这回主打的就是支持超长上下文，并且把性价比卷出了花儿：

  • 上下文长度从128k扩展到1M，相当于100万个英文单词或150万个汉字，也就是10部长篇小说、150小时语音记录、30000行代码的量。

4a9ad4d3d923127b40e8700c472e2d22.png

  • 更快的推理速度：基于稀疏注意力机制，处理百万上下文时，首字返回时间从4.9分钟降低到了68秒，实现了4.3倍加速。

bd5ab9700f95414f4acb8a947c89c786.png

  • 关键是还便宜：0.3元/1M tokens。这意味着，在相同成本下，Qwen2.5-Turbo可以处理的token数量是GPT-4o-mini的3.6倍。

24b01a726086a4770ad8af56c2115dd9.png

看到这波更新，不少网友直接爆出了***：

68648f960ac2063134a5aeeb2e7d4a23.png

有人直言：这么长的上下文这么快的速度下，RAG已经过时了。

160768e0b8ab4b111027f9f7fa77253c.png

还有人开启大赞特赞模式：现在在开源领域，Qwen比Llama还值得期待了。

65d67785d8a360103f0f561c7de61aa8.png

上下文能力扩展不影响性能

除了一口气啃下3本长篇小说，Qwen官方还展示了Qwen2.5-Turbo超长上下文的更多实用功能。

比如快速掌握一整个代码库的信息。

如Demo所演示，上传包含Qwen-Agent仓库中所有代码文件的文本文件（13.3万token），只需几秒钟，大模型就能读完全部代码并准确输出各种细节。

用户：这个存储库中有哪些Agent子类？提供它们的文件路径。

Qwen2.5-Turbo：

eb9f7d586477e6428aa727260da524ef.png

一口气读7篇论文，完成论文分类、论文摘要，也不在话下：

我们也实际测试了一下。可以看到，在没有给任何提示的情况下，Qwen2.5-Turbo能准确掌握不同论文的细节信息，并完成对比分析。

53cb8f179246bcc8fc83d0448d12bad9.png

除了大海捞针实验之外，Qwen团队还在更复杂的长文本任务上测试了Qwen2.5-Turbo的能力。

包括：

  • RULER：基于大海捞针的扩展基准，任务包括在无关上下文中查找多“针”或回答多个问题，或找到上下文中出现最多或最少的词。数据的上下文长度最长为128K。

  • LV-Eval：要求同时理解众多证据片段的基准测试。Qwen团队对LV-Eval原始版本中的评估指标进行了调整，避免因为过于严苛的匹配规则所导致的假阴性结果。数据的上下文长度最长为128K。

  • Longbench-Chat：一个评价长文本任务中人类偏好对齐的数据集。数据的上下文长度最长为100K。

1116bcb945e3d0b331b14ae6590dba91.png

结果显示，在RULER基准测试中，Qwen2.5-Turbo取得了93.1分，超过了GPT-4o-mini和GPT-4。

在LV-Eval、LongBench-Chat等更接近真实情况的长文本任务中，Qwen2.5-Turbo在多数维度上超越了GPT-4o-mini，并且能够进一步扩展到超过128 tokens上下文的问题上。

值得一提的是，现有的上下文长度扩展方案经常会导致模型在处理短文本时出现比较明显的性能下降。

Qwen团队也在短文本任务上对Qwen2.5-Turbo进行了测试。

16acb44d6516e0efccafad495b8e1146.png

结果显示，Qwen2.5-Turbo在大部分任务上显著超越了其他上下文长度为1M tokens的开源模型。

和GPT-4o-mini以及Qwen2.5-14B-Instruct相比，Qwen2.5-Turbo在短文本任务上的能力并不逊色，但同时能hold住8倍于前两个模型的上下文。

此外，在推理速度方面，利用稀疏注意力机制，Qwen2.5-Turbo将注意力部分的计算量压缩到了原来的2/25，在不同硬件配置下实现了3.2-4.3倍的加速比。

e0f5ab8ca4dd1b82038205c893812379.png

现在，在HuggingFace和魔搭社区，Qwen2.5-Turbo均提供了可以在线体验的Demo。

API服务也已上线阿里云大模型服务平台，跟OpenAI API是兼容的。

6cd37ceeb97f6a40bf4f5622e3d87919.png

至于模型权重什么时候开源？

阿里通义开源负责人林俊旸的说法是：目前还没有开源计划，但正在努力中。

ef5b33ba26e2a1183761dd47d3619771.png

反正HuggingFace联合创始人Thomas Wolf是帮咱催上了（手动狗头）。

Demo传送门：
https://huggingface.co/spaces/Qwen/Qwen2.5-Turbo-1M-Demo
https://www.modelscope.cn/studios/Qwen/Qwen2.5-Turbo-1M-Demo

参考链接：
https://qwenlm.github.io/zh/blog/qwen2.5-turbo/

— 完 —

定档12月11日

「MEET2025智能未来大会」开启报名

李开复博士、周志华教授、智源研究院王仲远院长都来量子位MEET2025智能未来大会探讨行业破局之道了！

首批嘉宾阵容在此，观众报名通道已开启！欢迎来到MEET智能未来大会，期待与您一起预见智能科技新未来！

点这里👇关注我，记得标星哦～

QbitAl
关注
博客
全自研仿真GPU求解器x虚实对标物理测量工厂，打造具身合成数据SuperApp，加速具身仿真生态丨光轮智能@MEET2026
12-22 6
原因在于两个维度，首先智驾是视觉游戏，唯一的物理交互只有车辆和地面的动力学，而具身与之不同，具身需要实现力的反馈、逻辑电路和阻尼等多维度，数据也更加复杂，比如说，当我进入家中、拉开冰箱的门，需要实现有力的反馈，这样就多了一个维度，数据也更加复杂。参数辨识，就是指有了资产场景和力的生成后，仿真的机器人跟物理世界的机器人对齐包括控制器参数、钢度、阻尼、物理属性、摩擦模型、质量分布，还包括执行器特征、速度、力矩，以及时序对齐、控制频率、系统延时等等，都要和真实世界进行对齐。
博客
火线解析MiniMax招股书！全球领先大模型成本只有OpenAI 1%，果然拳怕少壮
12-21 310
我们觉得真正的AGI，一定要支持多模态的输入、多模态的输出，只是这件事实在太难了，三年多以前，我们刚开始做的时候，创业的时候，那个时候其实完全没有技术路线，我们的想法就是每个模态至少先走通，到了时机合适的时候就可以再起来整合。更早之前，这家公司在资本市场的融资能力同样一流，成立四年间，已吸引米哈游、阿里巴巴、腾讯、小红书、小米、金山、PCG和正大集团等知名机构投资站台，累计融资已超15亿美元。前者提供了导演级的AI视频生产力，只需简单的描述就能将创意变成精彩的视频；
博客
摩尔线程的野心，不藏了
12-21 441
这个算力本是专门为AI学习与开发者打造的个人智算平台，运行基于Linux内核的MT AIOS操作系统，具备多系统兼容能力，并预置完整AI开发环境与工具链，通过虚拟化和安卓容器，可无缝运行Windows与安卓应用。整体来看，当别人还在争论“国产 GPU 能不能用”时，摩尔线程已经通过从软件栈工具、硬件入口到人才培育的全链路布局，让开发者问出另一个问题：“我的下一个项目，能不能全在 MUSA 生态里完成？这意味着，国产显卡正式迈入“光追+AI渲染”的新范式，不仅仅是“算”画面，更是“生成”画面。
博客
SGLang原生支持昇腾，新模型一键拉起无需改代码
12-21 594
当前，昇腾已作为SGLang原生支持的后端之一进入主仓库，随着 SGLang推理引擎的更新，DeepSeek、Qwen、GLM等模型可以在不调整模型参数、不引入额外插件的情况下直接运行，HiCache、Mooncake等系统能力也在对应版本中引入。可以说，这次SGLang AI金融π对呈现的，并非零散技术点，而是一条清晰的推理工程演进路径——从缓存与内存体系，到权重更新、强化学习效率，再到算力与模型生态的协同。将多个连续的小算子合并为一个复合算子，使中间结果保留在高速缓存中，从而显著提升计算效率。
博客
自变量王潜：具身智能是物理世界的独立基础模型｜MEET2026
12-21 17
这个视频是自变量实现的非常典型的跨本体泛化任务，我们从夹爪的模型上迁移到高自由度灵巧手上，15个主动自由度，一共20个自由度的高自由度灵巧手，只用了非常少量的样本，这说明模型本质上已经学会了一些基础的物理规律，物体的基本属性，一些基本的动作模式。但这个假设今天是不对的，我们怎么样发明一个真正聪明的AGI，甚至超越人类的ASI，是需要更多的算力，更多的芯片，更多的电力，更多的能源，更多的数据，所有这些东西都是从物理世界中来的。在体系架构上，在System上，在硬件上都会有相应的调整。
博客
LeCun离职前的吐槽太猛了
12-21 8
他曾发表过一篇关于训练多层网络的目标传播算法论文，那时他就衍生想到了反向传播的核心思路，但受时间和精力限制没能做成，后来David Rumelhart和Hinton发表了相关论文，并引用了LeCun的论文。这就是“梯度消失”问题。甚至在很多任务上，其实动物比人类更擅长，而人类之所以自诩为“通用”，只是因为人类自认为能处理所有可以想象到的问题，但很多想象之外的问题，人类其实无法做到。所以LeCun的观点是，单靠LLM或者单靠世界模型是无法实现真正的人类智能的，这需要很多的相关研究支撑，也需要很多时间完成。
博客
清华孙茂松：对工业界而言，大厂可以Scaling，其他玩家重在垂直应用 | MEET2026
12-21 22
经过这几年的发展，机器已经有了相当强的系统一和系统二的能力，这为AI走出文本世界、走向具身智能，奠定了非常重要的基础。如一个3×3的黑块，可能是衣服的一部分，也可能是桌面的一角，还可能是屏幕上的一个图标，语义指向高度不确定。具身是四维，三维空间再加上时间，大千世界、变化无穷，如此复杂的场景靠Next Token Prediction到底能不能做到，不好说。机器想具有智能，一定要让它走到现实世界去，它能够感知这个世界，能和世界打交道，在反馈中得到奖励或惩罚，并据此不断自我调整、自我学习。
博客
库克提拔复旦校友掌舵苹果基础模型！庞若鸣走后涨薪止血，谷歌旧部占据半壁江山
12-21 8
2010年，Giannandrea加入谷歌，后来主管谷歌搜索与AI，被视为推动谷歌搜索与AI深度融合的关键人物之一。2018年，他离开谷歌加入苹果，被任命为“ML与AI战略高级副总裁”，作为最高层管理团队的一员直接向库克汇报。当前AI赛道上，Meta、OpenAI以及Google等，对外释放的信号高度一致：追求超级智能。另一方面，如大家所知，在这一波AI浪潮里，苹果的动作无论从成效还是速度来说，都太过不尽如人意。一方面，庞若鸣离开之后，苹果内部一边重组AI权责，一边启动了针对核心研究人员的留人方案，其中。
博客
对话文远知行韩旭：中国真正的L4只有3家，马斯克不上激光雷达干不过Waymo | MEET2026
12-20 46
文远知行在2021年的时候，在和宇通合作的小巴上实现了Driver out（去安全员），接着在Robotaxi实现Driver out，到目前为止搞了三年多的Driver out，接驳乘客超过50万名了，没有什么重大的责任事故，这些方面都是非常好的成绩。有的车厂或者平台可能是拿了别人家技术，买了别人车刷个喷漆说自己有L4技术，我觉得这是不正确的，你必须要有L4技术有纯无人运营才可以说自己是一家L4公司，否则的话你只是使用别人的L4技术做一家运营公司。
博客
潞晨尤洋：日常办公没必要上私有模型，这三类企业才需要 | MEET2026
12-20 65
先展示一些互联网上可以查到的案例：中石油的三千亿参数的昆仑大模型，Bloomberg的金融大模型，华为云发布的盘古气象大模型，宝马的优化汽车制造流程的大模型以及李维斯、航空航天、动画、西门子，还有制药行业。开发人员、研究人员不管是石油公司的大模型开发人员还是金融公司、制药公司的，他们应该专注于自己的数据和业务，而不应该花太多时间构建自己的GPU集群、分布式计算、优化器等大模型基础设施的东西。用大模型做To B，最关键的是后训练或Agent化，如果只是调大模型API，大家用的模型都一样，显然没有任何差异性。
博客
ChatGPT文风，原产地肯尼亚
12-20 49
我们要用“首先、其次、最后”来构建逻辑，要用“此外、然而、因此”来精确转折，要用“光辉灿烂”、“精疲力竭”这样的“好词”来展现词汇量。所以，当AI为了显得“权威”和“可信”而输出时，它的文风自然就与我所受的教育产生了诡异的“孪生”效应。不过，令人啼笑皆非的是，小马的这篇感情饱满、“活人感”很强的文章，竟然还是被Pangram网站判定为100%由AI生成。你写的挺好，逻辑也扎实，就是……由于历史原因，一些非英语母语者的写作，本就是现有AI模型的“教材”，而现在他们却成了AI普及后的“受害者”
博客
北大华为联队夺冠：形式化数学竞赛33支队伍角逐，国产大模型啃下形式化证明硬骨头
12-20 30
在形式化命题的可证明性上，openPangu-Ultra-MoE-718B模型得到的命题更加适配当前的自动定理证明器，形式化命题的。“我们通过对在线评测反馈的深入分析，识别出传统语义对齐方法存在系统性的判定过松问题，”团队解释道，“针对这一根本性弱点，我们引入了基于语义分解的多层级验证机制，将自然语言问题解构为类型、前提和目标三个正交维度，实现了从整体模糊匹配到结构化精确对齐的范式转变。：团队设计的流水线成功处理了这一抽象命题的推理与表达，生成了严谨的Lean代码，准确处理了环论中的核心概念。
博客
CMU教授万字反思：西方式AGI永远到不了
12-20 37
Dettmers指出，美国那边总想着“赢者通吃”，巨头们砸钱搞超级智能，一门心思想做个啥都会的AGI，却不管这东西到底现不现实，能不能用在实处。就算是现在的主流AI架构Transformer，看似是算法层面的突破，本质上也是对硬件信息处理效率的物理优化，且也已经接近物理最优。理论层面，相关联的想法会导致收益递减，就算是创新，也多是对现有思路的微调，难有突破性效果。，可信息移动的成本会随距离呈平方级上升；不过呢，在他看来，AI的未来不是超越人类，而是在物理约束内渐进式的改进，靠经济扩散和实际应用创造价值。
博客
卡帕西2025大模型总结火爆硅谷
12-20 22
另外，与SFT和RLHF不同，RLVR由于涉及客观奖励函数的训练，优化时间较长。例如在卡帕西自己的nanochat项目中，他就用氛围编程的方式，在Rust语言中，编写了定制的高效BPE分词器，而不是采用现有的库或学习更多的Rust知识。言归正传，在氛围编程的帮助下，编程不再局限于专业人士，任何人现在都能参与其中，而受过训练的专业人士也能通过它编写出更多的有意思的软件。有意思的是，氛围编程和前面提及的锯齿智能都是由卡帕西命名的，但彼时的他还并未料到，这两个词会成为2025年AI发展的最佳注解。
博客
奥迪+华为=油车智能天花板？
12-20 559
奥迪率先拥抱变革，在智能电车之外，给用户提供了智能油车的选项，这不是简单地给油车装了一块大屏，而是首次在燃油平台实现“原生智能”，那些对燃油车驾控和智能化体验都有强烈需求的用户，现在有了成熟可靠的选择。也会主动让行，从这也能看出，一汽奥迪A5L搭载的华为乾崑风格偏向保守，这种风格看上去偶尔会“吃亏”，但是减少了急刹等激进操作出现的概率，让我开着安心，我的小伙伴坐着也舒心。那对性能有没有影响呢？同时作为中间层，VMM也实现了软硬解耦，这样一来，华为和奥迪只需要关注各自擅长的部分即可，增强了硬件平台的兼容性。
博客
火线解析智谱AI招股书：年营收3亿增速130%，“中国版OpenAI”率先冲刺全球大模型第一股
12-19 61
而在LLM技术的不断进步，以及机构和个人需求增长的催化下，预计到2030年，中国LLM市场规模将增至人民币1011亿元，2024 年至2030年的复合年增长率为63.5%，并且仍由机构客户作为增长的核心动力。并且不仅仅是在国内收入高，GLM-4.5/4.6在海外也在赚钱，其面向全球开发者的模型业务（GLM coding plan），目前已经获得超过1亿元人民币的收入，3个月吸纳了超15万付费开发者用户。7月的12项业界标准基准测试中，GLM-4.5在全球排名第三、在中国拿下第一，在全球开源模型中居于首位。
博客
1年融资17亿的具身智能明星，首秀绣了个logo
12-19 65
毕竟布料是一个轻薄的柔性物体，用力气大了，布会起皱，小了也不行，所以很考验对力觉的控制。，是一位90后，生于1993年，是华为“天才少年”计划的首批入选者，并且被派往了挑战最大的自动驾驶军团，从0到1主导了华为ADS智驾端到端决策网络。过去通过遥操，即人类佩戴设备，远程遥控，让机器人和自己同步做出动作，这种采集方式，采集到的不是人类的真实能力，而是为了机器人做出妥协。采集数据，建立起环境和动作之间的因果关系，让真实的物理世界就是数据来源，各行各业的从业者，穿上设备，就能自然采集数据。
博客
4.98万就能买机器人通用基座？！一机三态，多场景验证，标配VLA大脑
12-19 23
回看逐际动力这条产品线，会发现它的节奏始终很清晰—— 坚持原始创新从TRON 1全球首创的「三合一」足端多模态构型，到全尺寸、全自由度的通用人形机器人，再到今天这台一机三态、多形态可组合的TRON 2，每一次产品迭代，关注点都落在用户真实使用过程中的关键卡点上。下层提供稳定、通用的身体能力，上层则可以持续接入以VLA为代表的大脑能力，使同一套硬件能够随着任务和模型的演进不断扩展，所有设计最终都指向一个现实判断：它是否真的具备跨技术栈、跨场景使用的条件。（想想就有种赚到了的感觉…
博客
DeepMind掌门人万字详解通往AGI之路
12-19 67
我得说，你已经很好地履行了自己的承诺。如果有一天我们构建出了 AGI，并把它当作一种心智的模拟，再把这种“人工心智”和真实的人类心智进行对照比较，我们也许就能看清它们之间真正的差异，甚至由此发现人类心智中那些独特、尚未被复制的“剩余特质”。就像彭罗斯所认为的那样，如果大脑中确实存在某种关键的量子效应，而意识正是与这种效应紧密相关的，那么机器，至少是经典机器，也许永远无法真正拥有意识。如果这能更进一步，我的人生使命就算完成了，我是说，这只是个小任务，你知道的，就是让它达标，或者帮助世界让它达标。
博客
当年带你上网冲浪的头号老玩家，这回是真AI上头了
12-19 23
QQ浏览器这次全新升级为AI浏览器后，不仅将AI能力深度融合进了用户场景，还能自动分配合适的Agent来当助攻，我们照常搜索浏览，AI在关键时刻按需“补位”，整个过程轻量又无感，学生党和牛马党看了都得说一句：666啊～日常经常练听力的朋友应该很有感触：看纯英文视频时遇到听不懂的句子，需要要暂停、倒回、切到翻译软件进行翻译，麻烦不说，还特影响视频观看体验！以我为例，我平时会盯不少AI类资讯，但手动刷网页真的很折磨：你不刷，它悄悄更新，你刷多了，又累得够呛，于是我索性把这件事儿交给了AI。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值