2025年国庆假期前夕，DeepSeek延续“假期前发新模型”的传统，推出实验性版本DeepSeek-V3.2-Exp。该模型并非追求性能数值的突破，而是聚焦长文本场景下的效率革命——通过全新的DeepSeek稀疏注意力（DSA）机制，在保持与前代模型DeepSeek-V3.1-Terminus性能基本持平的前提下，将主注意力计算复杂度从传统的O(L^2)降至O(Lk)，为大模型长序列处理提供了“降本增效”的新范式。
一、核心创新：DSA稀疏注意力的底层逻辑
传统Transformer的自注意力机制需计算每个token与所有其他token的相关性，当序列长度L达到128K时，平方级复杂度带来的计算量与内存占用会成为致命瓶颈。DSA的核心思路是“用轻量级筛选替代全局计算”，通过闪电索引器（Lightning Indexer） 与Top-K选择器的组合，精准定位关键token，实现细粒度的稀疏化计算。
1. DSA的三阶段工作流
DSA在模型中构建了“筛选-计算-融合”的闭环，具体流程如下：
1. 轻量筛选（绿色路径）：输入隐藏层h_t生成低维度的查询向量q_{index}与键向量k_{index}，通过闪电索引器计算索引得分I_{t,j}（仅用64个索引头、128维向量，且支持FP8精度），再经Top-K选择器筛选出2048个高相关性历史token，生成“关注地址列表”。
2. 核心计算（主路径）：基于MLA（Multi-head Latent Attention）架构生成重量级查询头q_{main}与当前KV对，仅针对“地址列表”中的2048个token进行Multi-Query Attention（MQA）计算，避免全局遍历。
3. 结果融合：将稀疏计算得到的注意力分数与主路径特征融合，输出最终隐藏层u_t。
这种设计的关键优势在于“效率平衡”：虽然索引器仍需O(L^2)复杂度，但低维度、低精度、少头数的设定使其计算成本远低于传统注意力；而主注意力仅处理k=2048个token（占128K序列的1.6%），直接将核心计算量从平方级拉回线性级。
2. 闪电索引器的效率密码
作为DSA的“大脑”，闪电索引器通过三大优化实现“轻量且精准”：
- 低维度设计：索引头维度仅128（远低于主注意力的512/1024维），大幅减少向量运算量；
- FP8精度支持：索引器只需提供token的“相对重要性排序”，无需精确权重，8位浮点数足以满足需求，内存占用降低50%；
- ReLU激活替代Softmax：相比Softmax的指数运算，ReLU计算更简单、对硬件更友好，显著提升吞吐量，同时避免Softmax在长序列下的数值不稳定问题。
二、训练策略：KL散度与分离优化的“稳赢组合”
DeepSeek-V3.2-Exp并非从零训练，而是基于DeepSeek-V3.1-Terminus进行“持续训练”，通过两阶段训练+后训练优化，确保稀疏化后性能不退化。
1. 两阶段持续预训练：从“模仿”到“适应”
（1）密集热身阶段（Dense Warm-up）
- 目标：让新加入的索引器学会“模仿”全注意力的关注模式，避免初始阶段筛选偏差。
- 方法：冻结主模型所有参数，仅训练索引器。将主模型所有注意力头的分数求和并L1归一化，得到“目标分布P_{dense}”，再用KL散度损失L_{KL}=KL(P_{indexer}||P_{dense})约束索引器输出，使其分布逼近全注意力。
- 规模：仅训练1000步，使用2.1B tokens，以极低成本完成索引器初始化。
（2）稀疏训练阶段（Sparse Training）
- 目标：让整个模型适应稀疏计算模式，同时保持索引器的筛选准确性。
- 关键设计：
- 启用Top-K选择（k=2048），主注意力仅处理筛选后的token；
- 解冻所有参数，但通过“梯度分离（Detach）”实现独立优化：索引器仍用KL散度损失（仅针对选中的token子集）对齐主注意力分布，主模型则仅通过语言建模损失（预测下一个token）优化；
- 训练规模：15000步，943.7B tokens，确保模型充分适应稀疏模式。
这种“分离优化”避免了双重目标冲突——索引器专注“选得准”，主模型专注“算得对”，让训练过程更稳定。
2. 后训练优化：复用成熟流程，确保性能一致性
为排除“训练方法差异”对性能对比的干扰，DeepSeek-V3.2-Exp完全沿用DeepSeek-V3.1-Terminus的后训练流程：
- 专家蒸馏（Specialist Distillation）：针对数学、竞赛编程、Agent式搜索等5个领域训练专家模型，用专家生成的数据“教”通用模型，平衡领域能力与泛化性；
- 混合RL训练：采用GRPO算法，将推理、Agent、人类对齐训练合并为一个阶段，规避多阶段训练的“灾难性遗忘”问题，同时通过“长度-准确性”“语言一致性-准确性”的双权衡设计优化奖励函数。
三、实测表现：性能持平，成本大降
DeepSeek-V3.2-Exp的核心价值在于“效率提升而性能不损”，从基准测试与推理成本两方面可清晰验证：
1. 性能：与V3.1-Terminus基本持平，部分场景小幅提升
在通用能力、代码、数学、Agent工具使用等四大类基准测试中，两模型表现高度一致：
- 通用能力：MMLU-Pro均为85.0分，GPQA-Diamond分别为80.7分与79.9分；
- 代码任务：Codeforces-Div1排名从2046提升至2121，SWE-bench多语言任务从57.8分微增至57.9分；
- 数学任务：AIME 2025通过率从88.4%提升至89.3%，展现稀疏注意力对长推理链的适配性；
- Agent工具：BrowseComp中文准确率从45.0%提升至47.9%，SimpleQA从96.8%提升至97.1%。
这种“性能持平+局部提升”的结果，证明DSA的稀疏化并未丢失关键信息，甚至因减少冗余计算而提升了部分任务的响应精度。
2. 推理成本：长序列场景降本显著
基于H800 GPU的实测显示，随着序列长度增加，DSA的成本优势愈发明显：
- 预填充（Prefilling）：128K序列下，单序列成本较V3.1-Terminus降低约40%；
- 解码（Decoding）：长序列解码阶段的token生成成本降低更显著，配合VLLM等推理框架优化，端到端推理速度提升2-3倍；
- 内存占用：128K序列下内存占用降低35%，可支持更多并发请求，进一步摊薄单token成本。
更值得关注的是，DeepSeek已将DSA适配Tilelang语言与国产芯片（如华为昇腾、寒武纪），通过更细粒度的硬件控制进一步释放效率潜力，为“国产算力+高效模型”的组合提供了可能。
四、未来挑战与展望
尽管DeepSeek-V3.2-Exp表现亮眼，但作为实验性版本，仍需在真实场景中验证潜在局限：
- “大海捞针”问题：极端场景下，关键信息可能未被Top-K选中，导致模型漏判；
- 对抗性攻击风险：是否存在能“欺骗”索引器的输入，使其关注无关token；
- k值权衡曲线：当前仅公布k=2048的结果，需进一步验证k值与性能、成本的量化关系，为不同场景提供最优参数选择。
从技术路线看，DSA是DeepSeek“稀疏化战略”的关键一步——从FFN层的MoE稀疏、MLA的KVCache优化，到如今Attention层的token稀疏，一条“以常数项优化换整体效率”的路径已逐渐清晰。未来，若能结合NSA（Block-based Sparse Attention）等更粗粒度的稀疏机制，或许能实现“Block筛选+Token筛选”的双层优化，进一步突破长文本处理的效率天花板。
DeepSeek-V3.2-Exp的价值，不在于刷新性能榜单，而在于提供了一种“不堆参数、不增数据”的大模型效率优化思路。通过DSA稀疏注意力，它证明了“精准计算比全局计算更重要”，为长文本场景（如法律文书分析、学术论文生成、多轮Agent对话）的商业化落地扫清了“高成本”障碍。对于开发者而言，全栈开源的模型权重、Tilelang/CUDA双版本算子，以及下调50%以上的API价格，更是降低了技术探索与应用落地的门槛——或许，这才是大模型从“实验室走向产业”的关键一步。
扫一扫
51
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
