熵增定律28的博客

维度传统方案价值记忆管理单一机制门控+增量双机制自适应遗忘/更新计算复杂度On2O(n^2)On2OnO(n)On支持100K+上下文真实任务性能次优SOTA适用于工业场景部署成本高极低降低90%+ GPU开销。

文章优先发布在，有些文章未来得及同步，可以直接关注公众号查看。

本文介绍了GSPO（Group Sequence Policy Optimization），一种新型强化学习算法，用于提升大语言模型在复杂任务中的推理能力。传统方法如PPO和GRPO存在训练不稳定、效率低等问题。GSPO创新性地采用序列级优化，通过长度归一化的序列重要性比和整体裁剪机制，显著提高了训练稳定性和效率。实验证明，GSPO在MoE架构和长序列任务中表现优异，已成功应用于Qwen3系列模型的训练。文章还提出了支持细粒度优势的变体GSPO-token，扩展了算法的适用场景。

随着大语言模型（LLMs）在企业级场景中的广泛应用，其生成能力所伴随的安全与合规风险日益凸显。Qwen3Guard 应运而生——作为Qwen3生态中的智能内容防护层，它并非独立模型，而是深度集成于推理流程中的安全中间件。其核心目标是：在不牺牲模型性能与用户体验的前提下，实现输入、生成过程与输出全链路的安全保障。

在大模型竞争白热化的背景下，阿里通义千问（Qwen）系列持续迭代，从基础语言建模能力出发，逐步强化等维度。

Qwen3-VL系列实现视觉语言模型从感知到认知与执行的关键突破，在文本能力、视觉推理、长视频处理等维度全面升级。其旗舰模型Qwen3-VL-235B-A22B在多项评测中超越Gemini 2.5 Pro并达到SOTA水平。通过创新性的MRoPE-Interleave位置编码和DeepStack多层视觉注入技术，模型显著提升了时空鲁棒性和视觉细节捕捉能力，支持256K token长上下文和精准视频定位。该系列还强化了视觉Agent、多模态推理、空间感知等核心功能，为跨模态应用和智能交互奠定基础。

首个支持动态思考模式切换的开源大模型→ 一模型通吃简单与复杂任务。119语言支持 + 36T Token训练→ 真正全球化、多领域能力。强到弱蒸馏 + 高效MoE→ 小模型低成本高性能，推动边缘部署。全系列开源 + 完整技术报告→ 社区可复现、可改进、可商用。

Qwen3-Next提出新一代大模型架构创新，通过混合注意力机制（75% Gated DeltaNet + 25% Gated Attention）、极致稀疏MoE（80B总参/3B激活）、训练稳定性优化及多Token预测技术，实现突破性进展。该架构在仅消耗Qwen3-32B 9.3%训练成本下，性能持平甚至超越235B旗舰模型，推理吞吐提升10倍以上，支持256K长上下文处理。核心优势体现为：更少数据（15T Token）、更低计算量（GPU小时减少90.7%）和更高效推理，验证了Context Scal

阿里巴巴发布Qwen3系列大模型，包含0.6B至235B参数的密集与MoE双架构，支持119种语言并采用36T token预训练。核心创新包括动态思考模式切换（支持/think与/no think指令）、强到弱蒸馏技术（小模型训练成本降低90%）、高效MoE架构（235B参数仅激活22B）以及全系列开源。模型通过四阶段精炼实现复杂推理能力，在数学、代码等任务表现优异，同时提供可控的思维预算功能。技术亮点包含无共享专家的MoE设计、全局负载均衡优化，以及结合ABF+YARN的长上下文支持。

维度Qwen3-Max 贡献训练工程实现 1T+ MoE 模型的稳定、高效、容错训练能力协同统一语言、代码、工具调用与高阶推理能力推理范式通过测试时计算扩展，突破静态模型能力上限开放生态兼容 OpenAI API，降低开发者迁移成本未来方向：Qwen3-Max-Thinking 的正式发布将进一步推动大模型向可验证、可调试、可扩展的通用智能体演进。参考文献。