从MLA到DSA:DeepSeek注意力机制演进全解析(3.1 vs 3.2版本差异指南)

GLM-4.5 vs GLM-4.7 vs GLM-5 全方位技术演进对比 智谱AI在7个月内快速迭代三代大模型(GLM-4.5至GLM-5),技术路线从统一推理/编码/Agent能力(ARC)演进到全面Agentic Engineering。架构上从GQA发展为MLA+DSA混合注意力,MoE专家数从160增至256,层数从92减至80,总参数量翻倍至744B。训练数据量从23T扩展到28.5T tokens,创新引入中期训练阶段,后训练策略从专家迭代升级为三阶段顺序强化学习。这一系列技术突破使GLM-5实现了从写代码到写工程的系统级能力跃迁。 阅读详情

从MLA到DSA:DeepSeek注意力机制演进全解析(3.1 vs 3.2版本差异指南)

如果你最近在关注大语言模型的架构更新,可能会被DeepSeek-V3.2-Exp中引入的DSA(DeepSeek Sparse Attention)机制搞得有些眼花缭乱。它和V3.1-Terminus中的MLA(Multi-head Latent Attention)到底是什么关系?是彻底替换,还是优化升级?对于开发者而言,理解这种底层机制的演进,远比单纯比较模型输出结果更有价值。这不仅仅是两个技术名词的变更,它背后反映的是DeepSeek团队在面对“长序列处理”这个老大难问题时,一套清晰、递进的优化思路。从MLA的“压缩存储”到DSA的“精准筛选”,这条技术路径揭示了当前大模型在追求极致效率与性能平衡上的核心方法论。无论你是希望优化自己的模型推理成本,还是想深入理解下一代AI架构的设计哲学,这篇文章都将带你拆解这场静默但关键的注意力革命。

1. 长序列之痛:为何我们需要新的注意力机制?

要理解MLA和DSA的价值,我们必须先回到问题的原点:Transformer架构在处理长文本时面临的固有瓶颈。经典的Transformer模型,其核心是多头注意力机制(MHA),它允许模型同时关注输入序列的不同部分,从而捕捉丰富的上下文信息。然而,这种强大能力的代价是高昂的计算和内存开销。

当序列长度(L)增加时,注意力计算的开销以O(L²)的复杂度增长。这还不是最致命的,在自回归生成(如对话、续写)的推理场景中,一个更棘手的问题出现了:KV缓存(Key-Value Cache)。为了高效生成下一个词,模型需要缓存之前所有时间步的键(Key)和值(Value)向量。这个缓存的大小与序列长度和模型维度线性相关。

注意:KV缓存是推理阶段(而非训练阶段)为了加速而引入的技术。它避免了在生成每个新词时重复计算之前所有词的Key和Value。

让我们用一个简单的表格来量化这个问题:

序列长度 (L)注意力计算复杂度KV缓存大小(近似)对16K上下文的影响
1KO(1M)中等轻松处理
8KO(64M)显著增大开始占用大量显存
32KO(1G)非常庞大普通消费级GPU可能无法承载
128KO(16G)巨大需要专业级硬件和大量优化

可以看到,随着上下文窗口从千级别迈向十万甚至百万级别,传统的MHA及其KV缓存机制很快会触及硬件天花板。业界早期的优化方案,如MQA(Multi-Query Attention)和GQA(Grouped-Query Attention),通过让多个注意力头共享同一组Key和Value,有效减少了KV缓存的大小,可以视为在“存储”维度上的第一次优化。但这仍然是在完整的高维向量空间中进行操作。DeepSeek的MLA则迈出了更激进的一步:它不再试图存储完整的向量,而是思考能否用更精简的“摘要”来代表它们。

2. MLA:从“记忆全文”到“提炼要点”的思维跃迁

MLA,全称多头潜在注意力机制,是DeepSeek-V3.1-Terminus的核心创新之一。它的设计哲学非常直观:人类在理解长篇文章时,并不会逐字逐句地记住所有内容,而是会提炼出核心观点、关键论据和逻辑脉络。MLA正是将这一认知过程进行了数学建模。

2.1 MLA的核心:低秩联合压缩

传统MHA要求模型“记住”每一个词的高维Key和Value向量。MLA则引入了一个“压缩”步骤。它通过一个可学习的线性变换,将高维的K和V矩阵投影到一个维度低得多的“潜在空间”中,生成一个紧凑的潜在变量Z。在推理时,模型缓存的不是庞大的KV矩阵,而是这个小巧的Z。

这个过程可以类比为:

  • 传统MHA:像一台录音机,完整录下所有声音波形(原始KV)。
  • MLA:像一位速记员,边听边整理,只记录下核心要点和关键词(潜在变量Z)。

技术实现上,MLA包含几个关键步骤:

  1. 压缩K和V:使用投影矩阵将当前时间步的Key和Value压缩为低维潜在向量。
  2. 更新潜在缓存:将这个新的潜在向量与历史缓存融合(通常通过类似RNN的更新机制)。
  3. 压缩Q:同样将当前查询向量Q投影到同一个低维空间。
  4. 潜在空间注意力计算:在低维空间中,计算压缩后的Q与缓存的潜在变量Z之间的注意力分布。
  5. 重建与输出:利用注意力权重对原始的、未压缩的Value进行加权求和,得到最终的输出。
# 简化的MLA前向过程概念代码(非实际实现)
def MLA_attention(query, key, value, latent_cache):
    # 1. 将K, V压缩到潜在空间
    latent_k = compress_proj_k(key) # 形状: [batch, head, seq_len, latent_dim]
    latent_v = compress_proj_v(value) # 形状: [batch, head, seq_len, latent_dim]

    # 2. 更新潜在缓存 (例如使用门控机制融合)
    new_latent_cache = update_latent_cache(latent_cache, latent_k, latent_v)

    # 3. 将Q也压缩到潜在空间
    latent_q = compress_proj_q(query) # 形状: [batch, head, 1, latent_dim]

    # 4. 在潜在空间计算注意力分数
    attn_scores = torch.matmul(latent_q, new_latent_cache.transpose(-2, -1))

    # 5. 注意力分数作用于原始的、完整的Value矩阵
    output = torch.matmul(attn_weights, value) # value是原始高维向量
    return output, new_latent_cache

这种设计的优势立竿见影:

  • 内存占用骤降:潜在空间的维度远低于原始模型维度,KV缓存体积可能减少一个数量级。
  • 计算效率提升:注意力计算在低维空间进行,矩阵乘法的开销大大降低。
  • 成本效益显著:更小的内存占用意味着可以在相同的硬件上运行参数更大的模型,或者以更低的成本部署服务。

2.2 解耦式RoPE:位置编码的优雅兼容

然而,引入压缩带来了一个微妙的问题:旋转位置编码(RoPE)。RoPE通过将绝对位置信息注入到注意力分数的计算中,对模型理解序列顺序至关重要。但直接将RoPE应用于压缩后的Key,会破坏低维潜在空间的结构一致性。

MLA的解决方案堪称巧妙——解耦。它将原始的Query和Key向量在概念上拆分为两部分:一部分负责内容语义,另一部分专门负责携带位置信息。

  • 内容部分:参与低秩压缩和潜在空间的计算,捕捉“这个词是什么意思”。
  • 位置部分:一个独立的、共享的Key向量,专门用于应用RoPE,捕捉“这个词在哪里”。

最终,注意力分数由两部分组成:

  1. 内容相关性分数:由压缩后的内容Query和从潜在变量重建的内容Key计算得出。
  2. 位置相关性分数:由携带了RoPE的位置Query和共享的、携带了RoPE的位置Key计算得出。

这两部分分数以某种形式(如相加)结合,共同决定最终的注意力权重。这样,MLA既享受了低秩压缩带来的效率红利,又完好地保留了Transformer赖以理解序列结构的位置信息。

3. DSA:在MLA的肩膀上,实现“精准制导”

如果说MLA解决了“记不住”长文的问题(通过压缩),那么DeepSeek-V3.2-Exp中引入的DSA,则旨在解决“看不过来”的问题。MLA的注意力计算在潜在空间虽然是高效的,但它仍然是“稠密”的,即当前查询token需要与序列中所有历史token的潜在表示进行交互。当序列长度L极大时,即使潜在维度很小,O(L²)的计算复杂度依然会成为瓶颈。

DSA的核心思想是:并非所有历史token都与当前查询同等相关。在生成长文本时,当前要生成的词可能只与前面少数几个句子或段落强相关。DSA的目标就是动态地、精准地找出这“少数几个”,并只对它们进行全量的注意力计算。

3.1 DSA的双引擎架构:索引器与选择器

DSA可以看作是MLA的一个“稀疏化”插件。它在保留MLA低维潜在表示的基础上,增加了一个动态路由层。其架构主要由两大组件驱动:

  1. 闪电索引器:这是一个轻量级的、专门用于快速评估相关性的网络。对于当前的查询token,索引器会飞速地扫描所有历史token的潜在表示,并计算出一个粗略的相关性分数。它的设计追求极致的速度,通常采用简单的点积操作配合ReLU激活,甚至可以在FP8低精度下运行,对整体计算流的影响微乎其微。
  2. 细粒度Token选择机制:根据索引器打出的分数,系统只保留分数最高的前k个token。随后,只有这k个“优胜者”的完整信息(或它们的潜在表示)会被送入后续的MLA注意力计算核心模块。

这个过程将注意力计算复杂度从O(L²)降低到了O(Lk),其中k是一个远小于L的固定值(例如64或128)。这意味着,无论上下文扩展到10万还是100万token,核心计算量几乎保持不变。

提示:你可以将DSA想象成一个“两轮评审”系统。闪电索引器是第一轮海选,快速过滤掉明显不相关的候选者;细粒度选择是第二轮,只让少数精英进入最终的“答辩”(完整的注意力计算)。

3.2 训练策略:让模型学会“选择性关注”

让一个原本进行稠密注意力计算的模型,突然转向只关注少数token,并非易事。如果直接应用,模型性能可能会严重下降。为此,DeepSeek为DSA设计了一套精妙的两阶段训练策略:

  • 第一阶段:稠密预热。在此阶段,模型保持原始的MLA稠密注意力计算不变,但冻结主模型的所有参数。唯一被训练的是新引入的“闪电索引器”。训练目标是通过KL散度等损失函数,迫使索引器输出的相关性分数分布,尽可能接近主注意力模块计算出的真实注意力权重分布。本质上,这是在教索引器“模仿”或“预测”完整注意力的模式。
  • 第二阶段:稀疏训练。当索引器已经学会了较好地预测相关性后,正式开启稀疏模式。此时,模型会根据索引器的分数进行真实的Top-k选择,只对选中的token计算注意力。在这个阶段,所有模型参数(包括主模型和索引器)都参与训练。模型需要学会适应这种稀疏的注意力模式,调整其表示和计算方式,以确保在只看到部分上下文的情况下,依然能做出准确的预测。

这种循序渐进的训练方式,确保了模型能够平滑地从稠密注意力过渡到稀疏注意力,最大程度地保留了模型能力。

4. 深度对比:MLA与DSA的技术演进图谱

理解了各自原理后,我们可以从多个维度对MLA和DSA进行系统性对比,从而清晰地把握DeepSeek注意力机制的演进逻辑。

特性维度DeepSeek-V3.1 MLADeepSeek-V3.2 DSA演进意义
核心目标压缩KV缓存,降低存储开销在压缩基础上,减少计算开销从“省内存”到“省计算”,追求极致效率
关键技术低秩联合压缩、解耦式RoPEMLA + 闪电索引器 + 动态Top-k选择在MLA的优秀基础上,引入稀疏性
注意力模式潜在空间内的稠密注意力潜在空间内的稀疏注意力计算模式发生根本改变
计算复杂度O(L * d_latent) [d_latent为潜在维度]O(L * k) [k为选择token数,固定值]使复杂度与序列长度L近似变为线性关系
内存复杂度O(L * d_latent)O(L * d_latent) [索引器开销极小]保持MLA的存储优势
与长序列关系使超长序列缓存成为可能使超长序列的高效计算成为可能解锁真正实用的超长上下文应用
设计哲学“高效记忆”:记住所有内容的精华摘要“精准回顾”:只快速查阅最相关的部分摘要从“记住一切”到“按需取用”,更贴近人类认知

从对比中可以明确,DSA并非取代MLA,而是构建在MLA奠定的“低维潜在表示”这一高效基础设施之上。MLA解决了“存不下”的问题,为处理长序列扫清了存储障碍;DSA则进一步解决了“算不动”的问题,通过动态稀疏化扫清了计算障碍。两者结合,形成了一套应对长上下文挑战的完整技术栈。

5. 实践启示:对开发者与研究者的影响

DeepSeek从MLA到DSA的演进,不仅是一个模型内部的升级,更为整个行业提供了可借鉴的技术范式和明确的优化方向。

对于模型部署与推理优化工程师:

  • 硬件门槛降低:MLA和DSA的结合,使得在消费级GPU上运行超长上下文(如128K+)模型变得更加可行。你需要重新评估你的推理服务器配置和成本模型。
  • 批处理策略调整:由于DSA的动态选择机制,不同序列的活跃token集可能不同,传统的静态批处理可能不是最优的。需要探索动态批处理或更灵活的调度策略。
  • 缓存管理新思路:MLA的潜在缓存比传统KV缓存更小,但管理逻辑可能更复杂。理解其更新和融合机制,对于编写高性能推理内核至关重要。

对于算法研究员与模型架构师:

  • 稀疏性是未来:DSA验证了在大型语言模型中引入动态、学习式稀疏注意力的可行性。这为未来模型设计开辟了新路径,例如可以探索更复杂的索引器结构、多粒度的选择策略(如选择句子或段落)。
  • 训练与推理协同设计:DSA的两阶段训练策略提供了一个经典案例,展示了如何通过专门的训练方法来引入推理阶段的激进优化。这种“设计时即考虑部署”的思路值得深入借鉴。
  • 效率评估指标:在评估新模型时,除了传统的准确率、流畅度,还应加入在长序列下的吞吐量、延迟和内存峰值等效率指标。MLA和DSA正是在这些指标上取得了突破。

一个具体的推理场景对比: 假设我们需要处理一个长度为32K的文档摘要任务。

  • 使用传统MHA/GQA模型:KV缓存可能占用数十GB显存,注意力计算矩阵庞大,推理速度慢,批处理大小受限。
  • 使用仅MLA的模型:KV缓存被压缩至几GB,内存压力大减,注意力计算在低维空间进行,速度提升。但计算量仍与序列长度有关。
  • 使用MLA+DSA的模型:在MLA节省内存的基础上,DSA确保每个生成步骤只与最相关的几十个历史token进行深度计算。推理速度进一步飞跃,并且可以轻松进行更大的批处理以提高总体吞吐。

在我自己尝试对一些长文档分析任务进行本地部署测试时,从V3.1切换到V3.2-Exp版本后,最直观的感受不是输出质量有多大变化(两者在多数任务上接近),而是在处理超过50K文本时,推理的响应时间变得更加稳定,不再出现随着对话轮数增加而明显变慢的情况。这种“无感”的流畅体验,正是底层架构优化带来的最实在的价值。

从MLA到DSA,DeepSeek展示的是一条步步为营、持续迭代的技术优化路径。它没有追求颠覆性的、风险极高的架构重构,而是在Transformer的核心——注意力机制上,进行深刻而精巧的改良。这种务实且深入的工程创新,或许比任何华丽的宣传都更能体现一个团队的技术底蕴。对于身处其中的我们而言,理解这些变化,不仅是为了跟上技术潮流,更是为了在自身的产品开发和研究中,学会如何更系统性地思考与解决“效率”这个永恒的核心命题。

GLM-5架构精解:DSA+MLA稀疏机制与MoE路由实战指南 大模型稀疏化正从‘参数裁剪’迈向‘计算-存储协同调度’新范式。GLM-5作为中文社区首个工业级稀疏大模型,其核心并非简单堆叠MoE,而是通过DSA(可学习稀疏索引)实现动态KV位置选择,结合MLA(多隐态注意力)压缩KV缓存结构,在744B参数量下将显存占用压至23GB。这种设计将资源瓶颈从‘显存墙’转向‘索引精度墙’,使稀疏性具备数据驱动、可微调、可监控的工程属性。典型应用场景包括长上下文推理、边缘设备部署及高吞吐API服务——尤其适用于需平衡延迟、显存与质量的生产环境。本文深入拆解DSA Indexer 阅读详情

相关推荐

GLM-5技术解析:DSA稀疏注意力与Muon Split优化的智能体工程实践

大模型智能体(Agentic AI)正从概念走向工程落地,其核心挑战在于长上下文推理效率、MoE架构训练稳定性与工具调用可靠性。DSA(DeepSeek Sparse Attention)通过任务自适应的动态稀疏机制,在200K上下文下实现接近稠密注意力的精度,同时降低1.7倍计算开销;Muon Split则针对多头注意力中各head角色差异,实施head-level正交化优化,显著提升logits稳定性与代码生成确定性。二者共同支撑了GLM-5在ARC基准、BrowseComp与SWE-bench等真实A

weixin_32112641的博客 363

【收藏】DeepSeek V3.2深度解析:性价比之选还是技术退步?看完这一篇那你就知道了!!

DeepSeek发布V3.2实验版本,性能较V3.1下降5-10%,但价格大幅降低,性价比突出。该版本在工作记忆、计算精度方面有所劣化,且出现"偷懒倾向"和罕见死循环问题。尽管如此,DeepSeek作为AGI探索者勇于尝试新方向,V3.2可能是为未来更好发展做铺垫,正如"蹲下是为了跳得更高"。对预算有限但追求性价比的开发者而言,V3.2仍是值得考虑的选择。

datian1234的博客 2441

GLM-5技术解析:开源智能体工程的全栈落地实践

大语言模型正从‘文本生成器’演进为具备规划、执行与反思能力的智能体。其核心支撑在于长上下文建模、高效推理架构与强化对齐机制——这三大技术支柱共同决定了AI能否真正参与软件工程闭环。GLM-5作为首个将稀疏注意力(DSA)、多潜变量注意力(MLA)与异步Agentic RL深度整合的开源智能体系统,不仅突破20万token稳定处理瓶颈,更在国产芯片上实现单卡级工业级部署。它解决的不是‘能不能答’,而是‘能不能在真实产线中稳稳地干’:从需求理解、代码生成、沙盒验证到缺陷修复,全程无需人工干预。本文聚焦其可复现、

weixin_30839881的博客 474

DeepSeek注意力机制详解:MLA与DSA如何解决长文本处理难题

本文解析了DeepSeek对Transformer注意力机制的系统性改进。从V2的Multi-Head Latent Attention (MLA)通过低秩压缩解决KV Cache显存问题,到V3.2的DeepSeek Sparse Attention (DSA)引入闪电索引器和Top-k Token选择机制,将计算复杂度从O(L²)降至O(Lk)。这些创新显著提升了长文本处理效率,为大规模语言模型的长上下文任务提供了有效解决方案。

m0_59162248的博客 1272

Qwen3.5混合注意力架构与多模态技术解析

混合专家模型(Mixture-of-Experts)是当前大模型领域的重要技术路线,通过动态激活部分参数实现高效推理。注意力机制作为Transformer架构的核心组件,其计算复杂度直接影响模型处理长文本的能力。Qwen3.5创新性地采用3:1比例的混合注意力架构,结合Gated DeltaNet线性注意力和标准全注意力,在保持模型性能的同时显著降低计算开销。这种设计特别适合长文档处理、多工具编排等工程实践场景,实测显示其推理速度比传统架构快2.3倍。在多模态支持方面,模型通过早期融合训练和共享表示空间实现

weixin_30416871的博客 422

从 MLA 到 DSA:DeepSeek 3.2 Exp 的注意力机制进化史

本文深入解析了DeepSeek 3.2 Exp模型中注意力机制的演进,从MLA的低秩压缩到DSA的动态稀疏筛选。DSA(DeepSeek Sparse Attention)在MLA基础上引入“闪电索引器”,实现超长上下文的高效处理,通过动态选择关键Token将计算复杂度降至常数级,显著提升推理效率并降低显存占用。

weixin_29053073的博客 430

DeepSeek-V3.2-Exp革命性DSA注意力机制详解:长上下文处理成本降低50%+!

本文详细解析了DeepSeek-V3.2-Exp模型的创新点,重点介绍了其DeepSeek Sparse Attention(DSA)注意力机制,通过Lightning Indexer组件实现高效token选择,使长上下文场景下训练推理成本降低50%以上。模型能处理128K token长文本,通过低成本持续学习不断更新知识,在保持性能的同时大幅提升效率,为长上下文时代提供了更经济高效的解决方案。

2401_84495872的博客 1441

DBeaver连接IoTDB避坑指南:手动配置JDBC驱动的完整流程(附问题排查)

本文提供了在DBeaver中手动配置Apache IoTDB JDBC驱动的完整流程与避坑指南。详细解析了从驱动创建、库文件添加(关键是指向整个lib目录)到连接测试的每一步,并重点针对常见的ClassNotFoundException、连接拒绝等错误提供了深度排查方案,帮助用户高效建立图形化管理连接。

weixin_28327051的博客 396

DeepSeek-V3.2 DSA:长上下文时代的架构分水岭

DeepSeek-V3.2 DSA:突破长上下文瓶颈的架构革新 DeepSeek-V3.2-Exp 通过 DeepSeek Sparse Attention (DSA) 技术重新定义了 Transformer 的可扩展性。其核心 Lightning Indexer 采用轻量级并行子网络进行预筛选,仅保留 Top-K 相关 key-value 对,显著降低计算复杂度(O(L²)→O(L log L))。训练上,通过 两阶段策略(密集预热+稀疏训练)稳定稀疏机制,结合 KL 散度损失和梯度截断,确保模型高效收敛

gaussrieman123的博客 1032

LMX2820即时校准实战:从失锁到稳定锁频的完整指南

本文详细解析了LMX2820锁相芯片在高频段(11.3-22.6GHz)易出现随机失锁问题的根源,并提供了即时校准(InstCal)的完整实战指南。通过寄存器编程、Index例程和校准配置的关键步骤,确保从失锁到稳定锁频的高可靠性,大幅提升射频合成器在通信与测试测量应用中的性能。

bert9linguist的博客 961

Android7以上抓取https数据包-无需root

手机内装一个虚拟机,然后在虚拟机内运行我需要抓包的应用,该虚拟机内是不需要证书验证的。完美解决android7.0以上https无法抓包的问题。

qq_45764684的博客 1461

基于蓝耘元生代MaaS平台DeepSeek-V3.2-Exp与V3.1-Terminus模型对比测评:性能相近,价格大幅下降

DeepSeek-V3.2-Exp与V3.1-Terminus对比测评显示,新版模型在性能基本持平的情况下实现显著成本优化。V3.2-Exp采用DSA稀疏注意力机制,长文本处理效率提升2-3倍,内存使用降低30-40%,API价格最高降幅达75%。测评涵盖逻辑推理、代码生成等多项任务,两模型表现相近,但V3.2-Exp在输出密集型应用上可节省64%以上成本。建议新项目优先采用V3.2-Exp,现有系统可在10月15日前完成迁移验证。这一升级展示了AI技术优化与成本控制的有效结合。

Liudef06的博客 1万+

一种4位sar adc仿真验证

4位sar adc采用下图的电容阵列,电路如下图:所有电容的正端(也称为上极板)与比较器的反相端连接,比较器同相端接Vin,其工作过程进行大致分析见之前的文章《一种4位sar adc工作过程推导(三)》,下面对这个电路进行仿真验证。 两个参考电压VrefPV_{refP}VrefP​和VrefNV_{refN}VrefN​,V+=VinV_{+}=V_{in}V+​=Vin​,假设1116(VrefP−VrefN)+VrefN<Vin<1216(VrefP−VrefN)+VrefN\frac{

大学生视野 1956

DeepSeek 模型技术之旅:从 V3 到 V3.2

V3.2-Speciale 的表现似乎已经达到了谷歌新款 Gemini 3.0 Pro 的水平,非常值得深入研究。DeepSeek 团队延续了发布 DeepSeek V3 时的传统,再次在一个主要的节假日周末发布了他们的新旗舰模型。鉴于 DeepSeek V3.2 展现出的卓越性能(达到 GPT-5 和 Gemini 3.0 Pro 水平),且作为一个开放权重的模型,它绝对值得我们仔细审视。

m0_59235945的博客 1159

电力电子技术(13)——大功率可控整流电路

目录引言2.6.1 带平衡电抗器的双反星形可控整流电路电路结构的特点接平衡电抗器的原因平衡电抗器使得两组三相半波整流电路同时导电的原理分析谐波分析2.6.2 多重化整流电路概述原理目标1)移相多重联结2)多重联结电路的顺序控制3重晶闸管整流桥顺序控制带平衡电抗器的双反星形可控整流电路(是多重化整流电路的重要形式之一)的特点:适用于低电压、大电流的场合。多重化整流电路的特点:绕组的极性相反的目的:消除直流磁通势如图所示,虽然两组相电流的瞬时值不同,但是平均电流相等而绕组的极性相反,所以直流安匝(电流*匝数)互

weixin_45589295的博客 1万+

机器学习势能(MLPs) 第一章 基础理论与核心概念 第二章 数据生成与训练集构建

密度泛函理论(DFT)作为现代计算材料科学的基石,通过求解Kohn-Sham方程在电子结构层面提供可靠的势能面信息。然而,其计算复杂度随体系电子数呈O(N3) 至O(N4) 增长,对于包含数百个原子的体系,单点计算往往需消耗数小时至数天的计算资源。这一瓶颈严重限制了分子动力学模拟的时间尺度,传统DFT-MD通常仅能覆盖皮秒量级,远不足以观测扩散、相变等慢动力学过程。经验力场通过解析函数形式描述原子间相互作用,实现了经典力学的计算效率,但其参数化过程高度依赖物理直觉与经验调参。

VectorShift的博客 185

iloader:5 分钟搞定 iOS 侧载,不碰签名和配对文件

如果你折腾过 iPhone 侧载,多半被签名、证书、配对文件劝退过。iloader 是一款免费开源的 iOS 侧载工具:插上手机、登录 Apple ID,一个点击就能把 App 装上去。 ## 它是什么:替你跑完整个流程的 iOS 侧载工具 iloader 是跑在电脑上的向导式侧载客户端。把 SideStore 安装、IPA 导入、配对文件投递这三件事收进一个界面,证书导出、代码签名这类脏活全

gitblog_01197的博客 174

occ算法真值构建

occ算法真值产生

xiaomu_347的博客 611

从DeepSeek看中国AI:不再追随,开始引领

2025年1月,一个名为DeepSeek的应用悄然登顶苹果App Store中美两国的免费榜,超越了ChatGPT。没有发布会,没有大规模营销,这家来自杭州的AI公司凭借极致的技术实力和颠覆性的成本优势,在全球AI领域掀起了一场“性价比革命”。

5站站长 373

【txt文本加密】使用 cryptography 库实现加密和解密

cryptography 库是一个强大的 Python 库,用于实现加密和解密功能。它提供了各种加密算法,包括对称加密、非对称加密、哈希函数等。

📷 图像处理践行者 | 传统算法 · 深度学习 · 多模态 | 分享实战经验与技术洞见,探索从像素到智能的无限可能。 2670

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

阿里通义千问团队揭秘Gated Attention,让你的大模型学习效率飙升,速收藏!

本文深入解析了阿里通义千问团队发表的《Gated Attention for Large Language Models》论文,通过通俗易懂的分析,阐述了在标准Transformer注意力机制中引入“门控”的效果。文章涵盖了背景与挑战、解决的问题、关键技术(含数学推导和图表引用)以及建议的研究方向。研究发现,门控机制通过引入非线性和稀疏性,有效增强了模型的表达能力和训练稳定性,特别是在长上下文泛化方面表现突出。文章还提出了未来研究方向,如门控与稀疏注意力的结合、动态适应性、模型量化压缩的结合等,为程序员提供

2401_84204413的博客 711

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

GLM-5 论文理解记录

GLM-5 论文阅读记录

qq_42563807的博客 661

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

SGLang DeepSeek-V4 注意力测试能力矩阵深度解析:SWA / C4 / C128 压缩比模式与后端约束验证

> 本指南以 SGLang 仓库中 `test/registered/attention/unittests/dsv4/README.md` 为核心,全面讲解 DeepSeek-V4 注意力后端的测试覆盖设计:包括 `dsv4` 单一注意力后端在 `compress_ratio ∈ {0, 4, 128}` 三种模式下的能力矩阵、输入与配置覆盖策略、独立 PyTorch 参考实现原理,以及被明确判

gitblog_00135的博客 738

MoE 推理算子全集——从权重加载到 Token 输出

文章摘要 MoE(混合专家)模型推理涉及22种核心算子,分为四大类:通用LLM算子(如GEMM、Softmax、RMSNorm)、注意力层算子(如RoPE、MLA)、MoE特有算子(如Router、Permute、Grouped GEMM)和通信算子(如All-to-All)。通用算子是Transformer模型的基元,MoE特有算子是关键差异,包括Token路由、专家并行计算和结果合并。GEMM在解码阶段(batch=1)是访存密集型,而Prefill阶段(batch>>1)是计算密集型。优化建议包括算子

Briwisdom的博客 484

LLM主流模型结构演变(Llama、Qwen、GLM、Deepseek...)

本文对比了2023年Llama与最新GLM5.2的结构差异,指出主要变化是采用DSA+MLA减少KV Cache、引入MoE提升效率。文章详解tokenizer、归一化、注意力模块等组件,强调模型结构改进聚焦于在可接受成本下持续放大模型能力。

谢白羽 572

从MLA到DSA:DeepSeek-V3.2的注意力机制进化史与技术选型指南

本文深入探讨了DeepSeek-V3.2中从MLA到DSA的注意力机制演进,重点分析了DeepSeek Sparse Attention(DSA)的技术突破与工程实现。DSA通过细粒度Token选择和两阶段索引架构,显著提升了长上下文处理效率,在128K长度下计算开销降低40%。文章对比了MLA与DSA的架构差异、训练策略和性能表现,为技术选型提供实用指南。

ice55的博客 117
上一篇: 5分钟搞定FunASR离线部署:Docker镜像打包+模型迁移一步到位(支持CentOS/Ubuntu)
下一篇: 从泛微云桥漏洞看文件读取风险:手把手教你编写基础防护规则(WAF/IDS篇)
sql99
博客等级 码龄19年 168粉丝 1905原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值