Qwen团队发布长上下文Reasoning模型QwenLong-L1，超越o3-mini

大模型的长上下文推理为何难？

可以这么简单思考夏，你让一个学霸看完一本1000页的学术报告，然后回答一个复杂问题。学霸可能抓不住重点，或者中途走神——这就是当前大模型处理长文本的困境！

现有的GPT、Claude等模型在短文本（比如4千字内）的数学题、编程题上表现惊艳，但面对长达12万字的文档问答时，往往“记忆力差”“逻辑混乱”。论文指出两大难题：

• 训练效率低：长文本导致模型探索答案时“畏手畏脚”（输出多样性下降）。
• 训练过程不稳定：长文本生成容易“跑偏”，导致模型参数波动剧烈。

论文：QwenLong-L1: Towards Long-Context Large Reasoning Models with Reinforcement Learning
链接：https://arxiv.org/pdf/2505.17667

短上下文模型如何突破长文本限制？

传统方法靠“死记硬背”（监督学习），但长文本需要模型具备“主动思考”能力。比如：

• 从100页财报中找到关键数据
• 跨多篇论文推导结论

这就像让一个只会做选择题的学生，突然面对开放式研究课题——必须用强化学习（RL）激发“主动推理”能力！

QwenLong-L1的三个方法

一 分阶段“升级”的强化学习

模型不是一口气学完长文本，而是像打游戏一样分阶段“练级”：

• 第1关：先学2万字以内的文本（热身）
• 第2关：挑战6万字的“困难模式”

每个阶段只专注当前难度，避免“贪多嚼不烂”。

二 动态调整难度

系统会主动筛选“历史难题”，比如之前得分低的题目，让模型反复练习薄弱环节。这种“错题本”机制，让学习效率翻倍！

三 混合奖励机制：既要精确，又要灵活

• 规则奖励：答案必须严格匹配标准（比如数字不能错）
• 裁判奖励：用另一个小模型判断答案语义是否合理（比如“10%”和“0.1”算对）

最终奖励取两者最大值，兼顾精准与灵活！

实验：超越o3-mini、比肩Claude

在7个长文本问答基准测试中：

• QwenLong-L1-32B 平均得分70.7，超过OpenAI的o3-mini（70.4），直逼Claude-3.7（70.7）！
• QwenLong-L1-14B 以68.3分碾压Gemini-2.0（65.7），甚至比自家32B基础模型还强！

关键结论：

• 单纯监督学习（SFT）只能提升0.8分，强化学习（RL）直接拉高5.1分！
• 模型在长文本中学会了“划重点”“自我纠错”。

Case分析

Case1：计算企业融资成本

• 旧模型：被财务报表细节绕晕，算错利息（答成20.4万美元）
• 新模型：主动回溯文档，排除干扰信息，最终算出正确答案32.4万美元！

Case2：推断贷款利息

新模型通过“分步目标”“自我验证”，从49页法律文件中精准提取数据，算出98万美元利息。

展望：无限长文本处理不是梦

论文提出三个方向：

1. 任务扩展：自动科研、长视频分析等场景
2. 架构升级：用线性注意力机制降低计算成本
3. 训练范式革新：把长文本拆成“多轮对话”逐步优化

或许未来，AI能帮你读完一整部《三体》并写深度解析！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】