熵增定律28的博客

在大模型竞争白热化的背景下，阿里通义千问（Qwen）系列持续迭代，从基础语言建模能力出发，逐步强化等维度。

维度演进方向架构Dense →MoE模态纯文本 →原生多模态上下文2K →10M训练人工标注 →合成数据 + 在线 RL对齐拒绝回答 →平衡表达部署研究原型 →工业级全栈生态。

混合专家（MoE）成为主流：MoE已成为在不牺牲推理效率的前提下，将模型参数扩展至数千亿乃至万亿规模的首选方案。未来的探索将聚焦于更优的路由算法、专家专业化训练以及共享专家等设计细节。注意力机制持续精化：GQA已取代MHA成为标准配置。为应对超长上下文挑战，滑动窗口注意力、注意力与线性时间复杂度模块（如DeltaNet）的混合机制，正成为新的研究热点。归一化策略的精细化调整：从Pre-LN到Post-LN变体，再到QK-Norm和“三明治”式布局，开发者们正通过精细调整归一化策略来追求极致的训练稳定性。

问题形式化：给定时间序列多模态输入Mmtτtt1TM{(mt​τt​t1T​，其中mtmt​为模态数据，τt\tau_tτt​为时间戳，目标是构建函数fM→YfM→Y，使得模型能理解任意时间点的跨模态关联。传统方法将整个音频/视频作为单一特征zaudiozaudio​时序分辨率丢失：无法定位"他在说’菜品很冷’时背景有婴儿哭声"长度限制：32K 上下文仅支持 1-2 张图 + 10 秒音频计算效率低下。

LongCat-Flash-Chat 重新定义了高效大模型的技术路线——不是盲目堆砌参数，而是通过精巧架构、严谨训练与目标导向优化，在计算效率与模型能力间取得最优平衡。其开源（MIT 许可证）将加速智能体技术在各行各业的落地，推动 AI 从"语言模型"迈向"行动智能"的新阶段。

MiniMax-M2不仅是一款开源大模型，更是对“高效智能体基础设施”的一次重要探索。高性能 Agent 不必依赖千亿甚至万亿级参数，通过架构创新与任务对齐，10B 激活参数足以支撑复杂工作流。

Gemma 3 是 Google 首个支持图像理解的轻量级开源大模型，在消费级硬件上实现 128K 长上下文、多语言、强 STEM 能力，27B 版性能媲美 Gemini 1.5 Pro，同时以系统化安全机制保障负责任部署。

GPT-OSS-120b 和 GPT-OSS-20b 两款模型采用专家混合（Mixture-of-Experts, MoE）架构的自回归 Transformer，集成了 RoPE、GQA、SwiGLU 和 RMS Norm 等先进技术，并辅以创新的 MXFP4 量化。

Qwen3-VL系列实现视觉语言模型从感知到认知与执行的关键突破，在文本能力、视觉推理、长视频处理等维度全面升级。其旗舰模型Qwen3-VL-235B-A22B在多项评测中超越Gemini 2.5 Pro并达到SOTA水平。通过创新性的MRoPE-Interleave位置编码和DeepStack多层视觉注入技术，模型显著提升了时空鲁棒性和视觉细节捕捉能力，支持256K token长上下文和精准视频定位。该系列还强化了视觉Agent、多模态推理、空间感知等核心功能，为跨模态应用和智能交互奠定基础。

首个支持动态思考模式切换的开源大模型→ 一模型通吃简单与复杂任务。119语言支持 + 36T Token训练→ 真正全球化、多领域能力。强到弱蒸馏 + 高效MoE→ 小模型低成本高性能，推动边缘部署。全系列开源 + 完整技术报告→ 社区可复现、可改进、可商用。

Qwen3-Next提出新一代大模型架构创新，通过混合注意力机制（75% Gated DeltaNet + 25% Gated Attention）、极致稀疏MoE（80B总参/3B激活）、训练稳定性优化及多Token预测技术，实现突破性进展。该架构在仅消耗Qwen3-32B 9.3%训练成本下，性能持平甚至超越235B旗舰模型，推理吞吐提升10倍以上，支持256K长上下文处理。核心优势体现为：更少数据（15T Token）、更低计算量（GPU小时减少90.7%）和更高效推理，验证了Context Scal

阿里巴巴发布Qwen3系列大模型，包含0.6B至235B参数的密集与MoE双架构，支持119种语言并采用36T token预训练。核心创新包括动态思考模式切换（支持/think与/no think指令）、强到弱蒸馏技术（小模型训练成本降低90%）、高效MoE架构（235B参数仅激活22B）以及全系列开源。模型通过四阶段精炼实现复杂推理能力，在数学、代码等任务表现优异，同时提供可控的思维预算功能。技术亮点包含无共享专家的MoE设计、全局负载均衡优化，以及结合ABF+YARN的长上下文支持。

维度Qwen3-Max 贡献训练工程实现 1T+ MoE 模型的稳定、高效、容错训练能力协同统一语言、代码、工具调用与高阶推理能力推理范式通过测试时计算扩展，突破静态模型能力上限开放生态兼容 OpenAI API，降低开发者迁移成本未来方向：Qwen3-Max-Thinking 的正式发布将进一步推动大模型向可验证、可调试、可扩展的通用智能体演进。参考文献。

Google DeepMind发布Gemini 2.5 Pro（具备多模态感知、百万级上下文记忆、动态思考预算和原生工具调用能力，在编码、数学、科研等基准测试中全面领先。革命性架构创新包括稀疏MoE设计、可编程思维深度及强化学习优化，支持长期任务规划。

在开源模型的巨大压力下，Llama 4 终于开源发布了，然而实测后，性能令人大失所望，一度陷入测试造假的风波。撇开这些因素，本文只针对Llama 4的技术原理进行剖析。Llama 4 通过四大支柱，实现了的最优平衡。

这是一个实验性的。该模型通过精密的策略，在基准上成功集成了机制。DSA是一种创新的、由机制。它将传统自注意力机制的**“选择”** 过程与**“计算”** 过程解耦，仅对Top-k个最相关的历史词元（Token）进行高精度注意力计算。DSA将核心注意力计算的复杂度从OL2显著降低至近似OL⋅k，其中k是选定词元数量且k≪L。评估结果表明，DeepSeek-V3.2-Exp在几乎不牺牲核心模型能力的前提下，尤其在等超长上下文场景下，实现了，推理成本仅为密集注意力模型的约。