- 博客(41)
- 收藏
- 关注
RSS订阅原创 mini-DeepInfer 技术说明：从请求到 DeepSeek-V4.1
mini-DeepInfer 是一个单 GPU、纯 PyTorch 的教学级推理运行时，复现 DeepSeek-V4.1 的核心特性：压缩 KV、滑动窗口、两级稀疏索引、MoE 与 hyper-connections。它通过分页 block 与 state slot 管理状态，支持连续批处理、抢占与确定性采样。请求生命周期分为调度、执行与输出处理三阶段，结合 Zero-overhead Scheduling 实现高效流水线。所有采样基于序列种子与位置生成，确保重算可复现，适用于验证与调试。
2026-10-26 20:08:37
329
原创 从 1,084.8 到 4,315.9 tok/s/GPU：mini-DeepInfer 三轮性能优化
一个约2000行的PyTorch推理引擎通过三轮优化，在4张B200上将prefill吞吐从1,085提升至4,316 tok/s/GPU。核心突破在于：A阶段重构稀疏注意力为矩阵计算，加速22.8×；B1融合Indexer scoring，减少显存往返，提速6.0×；C1仅处理本卡MoE本地数据，消除冗余通信，降低52%延迟。三轮后总耗时从3.78秒降至949毫秒，吞吐提升3.98倍，达官方性能的11.9%。剩余瓶颈集中在key concat、MoE融合与通信开销，后续将推进融合优化与硬件级验证。
2026-10-26 08:30:00
501
原创 SGLang Catches Up with DeepSeek‘s DeepInfer: 9 Core Technologies Behind V4.1
SGLang团队发布《超越DeepInfer：SGLang的真正价值》，对比开源推理引擎DeepInfer，指出其在性能上达致持平甚至微优，关键在于系统层创新：引入统一KV缓存（L1-L3）、零开销调度、预解码/解码分离、副本级负载均衡及高效Engram布局。尽管DeepInfer贡献了先进内核，但SGLang通过完整服务栈实现生产级优化。作者以mini-DeepInfer项目验证核心机制，强调系统设计才是性能差异主因。
2026-10-25 12:51:25
357
原创 Kimi K3.1 Pro 拆解:Agent RL 卡在哪
K3.1Pro聚焦长程AgentRL瓶颈，突破三大关键：通过partial rollout缓解慢轨迹拖累，优化1M上下文状态存储与缓存调度，实现沙箱秒级暂停恢复。强化混合策略与奖励机制，显著提升多步、带工具任务表现，编码与知识工作评测多项第一，幻觉率降至8.3%（硬测试），输出效率远超同类。虽科学计算仍弱，但整体在吞吐、稳定性与可控性上实现跃迁。
2026-10-25 09:00:00
367
原创 具身智能的 Infra，可能比 LLM 难多了？
本文从LLM Infra视角探讨GPT-6Astra在机器人领域的应用挑战：具身任务复杂度远超文本，涉及多模态感知与动态环境；上下文管理面临场景快速变化，KV Cache失效风险高；强化学习探索受限于不可逆错误，易趋于保守；端云部署各存瓶颈——端侧资源紧张，云端成本与延迟突出；更深远的隐患是安全风险，远程操控可能被滥用，如恶意制造事故。呼吁跨领域讨论解决方案。
2026-10-24 22:43:51
141
原创 DeepInfer 太复杂看不懂？mini-DeepInfer 用约 2000 行代码讲清推理引擎
mini-DeepInfer 以约 2000 行 PyTorch 代码实现 DeepSeek-V4.1 推理运行时，涵盖请求调度、分页 KV Cache、Chunked Prefill、零开销调度（ZOS）、MoE 多卡并行和稀疏注意力等核心技术。项目支持与官方参考实现进行正确性对照，并在 4 张 NVIDIA B200 上运行真实 DeepSeek-V4.1-Flash，测试推理性能，展示了从推理引擎实现到多卡运行的完整技术路径。
2026-10-24 00:43:59
575
原创 模型float32→int16高效量化实战指南
本文深入解析深度学习模型从32位浮点向16位整数量化的核心技术。通过对比对称/非对称量化方案，揭示scale与zero point的精确计算方法；结合对数量化策略解决长尾分布难题。重点分享三大实战技巧：1）基于KL散度的动态范围校准 2）硬件友好的int16指令集优化 3）混合精度分层策略。实测显示，ResNet-50经int16量化后模型体积缩减50%，推理速度提升45%，精度损失仅0.8%。文章提供PyTorch/TensorFlow的代码片段及移动端部署避坑指南，助您实现边缘设备高效推理。
2025-06-20 07:45:00
1630
原创 GR-2 技术报告：一种具备网络规模知识的生成式视频-语言-动作大模型用于机器人操作
本文提出GR-2——一种融合网络规模视频知识与生成式轨迹建模的通用机器人代理，核心突破包括：两阶段训练范式创新：预训练阶段：在3800万网络视频（500亿token）上学习未来帧预测，构建世界动态先验微调阶段：结合CVAE生成7维笛卡尔空间轨迹（位置+旋转+夹爪），实现动作-视频联合预测关键技术升级：多视角VQGAN离散编码（头部/腕部相机）支持复杂场景解析扩散模型背景替换+SAM物体插入增强泛化能力全身控制算法（200Hz）保障轨迹平滑性与避障约束性能里程碑：105任务
2025-06-19 07:45:00
1879
原创 GR-1：基于视频生成预训练与GPT架构的视觉机器人操作通用策略
本文提出GR-1——一种融合视频生成预训练与GPT架构的通用机器人操作策略，核心创新包括：双阶段训练范式：预训练阶段：利用Ego4D人类交互视频（80万片段/800万帧）学习未来帧预测（$\Delta t=1$），构建跨任务视觉表征微调阶段：在机器人数据端到端联合优化动作预测（Smooth-L1+BCE损失）与未来图像重建（MSE损失），$\Delta t$扩展至3以适应密集控制统一序列建模：语言指令经CLIP编码，视觉观测由MAE-ViT编码后经Perceiver降维独创[ACT]
2025-06-18 07:30:00
1316
原创 CrossFormer：面向异构机器人本体的统一Transformer策略架构与大规模评估
现代机器学习系统依赖大规模数据集来实现广泛的泛化能力，这在机器人学习领域通常是一个挑战，因为每个机器人平台和任务可能只有小规模数据集。通过在多种不同类型的机器人上训练单一策略，机器人学习方法可以利用更广泛、更多样化的数据集，从而提升泛化性和鲁棒性。然而，在多机器人数据上训练单一策略具有挑战性，因为机器人可能拥有差异巨大的传感器、执行器和控制频率。CrossFormer 是一种可扩展且灵活的基于 Transformer 的策略，旨在解决这一挑战，能够处理来自任何机器人本体的数据。该模型在迄今为止最大、最多样化
2025-06-17 07:30:00
1608
原创 Octo：开源的通用机器人操控框架——80万轨迹预训练，100条数据即可微调
Octo是首个开源的通用机器人策略框架（GRP），通过80万条多样化机器人轨迹预训练，突破传统策略泛化瓶颈。其核心采用Transformer优先架构，结合模块化输入处理（支持语言指令、多视角图像）和条件扩散动作生成，实现跨任务和硬件的灵活适应。关键技术包括：分块掩码注意力机制处理异构数据、轻量级编码器扩展新传感器、高效微调协议（仅需约100条轨迹，5小时单卡训练）。实验证明，Octo在9项任务中平均成功率72%，远超基线模型20%，为机器人学习提供强大且可复现的基础平台。
2025-06-16 07:45:00
1874
原创 (下)通用智能体与机器人Transformer：Gato和RT-1技术解析及与LLM Transformer的异同
本文深入探讨了机器人Transformer与大型语言模型Transformer的技术差异与应用场景。研究聚焦Google/DeepMind开发的RT-1机器人模型和Gato通用智能体，通过架构分析揭示了二者的核心区别：技术架构方面，RT-1采用EfficientNet+FiLM+Token学习器的混合架构处理多模态输入，将动作离散化为256个bin以提升精确性，而LLM主要处理文本Token。数据特征上，RT-1使用13万真实世界机器人交互数据，强调物理多样性，与LLM的互联网规模文本数据形成鲜明对比。
2025-06-14 11:17:02
1513
原创 (上)通用智能体与机器人Transformer：Gato和RT-1技术解析及与LLM Transformer的异同
与监督学习一样，模型也是在预先收集的、固定的数据集上进行训练。但这个数据集包含了智能体与环境交互的。
2025-06-13 07:45:00
1314
原创 ALOHA机器人平台：低成本、高精度双臂操作及其进展深度解析
摘要：ALOHA机器人平台通过低成本开源硬件实现高精度双臂操作，采用模仿学习方法弥补硬件精度不足。其核心技术创新包括基于Transformer的动作分块预测架构ACT，通过风格变量和动作序列预测解决复合误差问题；以及时间集成（Temporal Ensemble）和TEDA技术，确保动作执行平滑性并优化计算效率。平台成功完成电池插入、系鞋带等精细操作任务，并扩展为移动版MobileALOHA实现全身操作。ALOHA与视觉-语言-动作（VLA）模型形成互补，前者聚焦硬件平台和模仿学习，后者侧重语言理解和通用任务
2025-06-12 07:45:00
2127
原创 从感知决策到具身智能的技术跃迁与挑战(基座模型与VLA模型)
本文剖析AI与机器人融合的技术跃迁：从深度学习视觉突破、AlphaGo决策验证，到ChatGPT催生机器人“通用大脑”范式转移。核心聚焦VLA模型（Vision-Language-Action）的端到端架构，解析其三层能力——LLM任务规划、VLM环境感知、神经动作生成（代表工作：RT系列、DoReMi）。对比两条路径：拼接现有LLM/VLM的快速方案 vs 训练机器人专用基座模型的深度方案，揭示数据稀缺、物理建模、安全控制三大瓶颈。提出通过世界模型、仿真引擎、人机协同突破限制，预判人形机器人将依托VLA架
2025-06-11 07:45:00
1564
原创 Deepseek基座：Deepseek-v3核心内容解析
这篇是Deepseek正式受到大量关注的论文，可以看作是v2的scale up，参数规模达到671B，是当时非常出名的 DeepSeek-R1 的基座模型。相比前代 DeepSeek-V2（236B），V3 模型规模接近三倍，训练 token 数量达到 14.8T，远超 V2 的 8.1T。尽管模型规模巨大，DeepSeek-V3 的训练成本却非常低廉，使用，训练时长为；总花费仅，远低于同期其他开源模型，如 Llama 3.1 400B 的训练成本高达，差距达。
2025-06-10 07:45:00
1649
原创 DeepSeek推理能力（Reasoning）：从奖励模型到规则引擎
本文系统梳理DeepSeek在推理能力（Reasoning）领域的技术演进：代码预训练奠基：DeepSeek-Coder通过纯代码数据训练，首次验证代码能力对通用推理的促进作用。数学推理突破：DeepSeekMath引入过程监督和GRPO算法（轻量强化学习），实现开源数学模型SOTA。形式化证明探索：DeepSeek-Prover结合定理证明引擎（如Lean），用形式化验证替代奖励模型反馈。规则反馈回归：DeepSeek-R1彻底简化技术栈，直接使用规则反馈（结果正确性+格式规范）驱动强化学
2025-06-09 07:30:00
2311
3
原创 Deepseek基座：Deepseek MOE核心内容解析
《DeepSeekMoE：专家混合模型的突破性创新》摘要 DeepSeek团队提出了创新的MoE架构，通过大幅增加专家数量(64/128个)提升模型稀疏性，同时引入共享专家机制处理通用任务，实现"通专结合"。相比传统稠密模型，16B参数的DeepSeekMoE仅激活2.7B参数就达到LLaMA2-7B的性能，显著降低计算成本。该架构支持超大规模模型(如1.6万亿参数)的高效训练和推理，通过专家分布式部署优化多卡利用率。团队已在145B模型上验证该设计，仅用200B token数据就展现出
2025-06-08 08:00:00
1253
原创 Deepseek基座：Deepseek-v2核心内容解析
Deepseek v2可以看作是上面那一篇paper的scale up，不过也有一些非常重要的技术。从论文名字可以看出来“A Strong, Economical, and Efficient”，他们提出了进一步降低成本的技术DeepSeek-V2 是236B的混合专家模型（MoE），每个 token 激活21B，极大降低了推理成本。相比第一代的 DeepSeek 67B，虽然模型规模更大（接近其4倍），但激活参数更少，推理效率更高。DeepSeek-V2还支持的上下文长度。
2025-06-08 00:05:16
2183
2
原创 Deepseek基座：DeepSeek LLM核心内容解析
DeepSeek LLM 的本质突破：以科学方法将工程复现转化为创新跳板——通过数据质量量化、超参数缩放定律、动态训练策略，为开源社区提供了一套可复现、可扩展的高效训练范式，奠定后续 DeepSeek-V2/V3/R1 的技术基因。
2025-06-07 08:00:00
1512
原创 Transformer架构解析：Encoder与Decoder核心差异、生成式解码技术详解
本文系统解析Transformer架构中Encoder与Decoder的核心差异：Encoder：全局无掩码自注意力，专注输入序列特征提取（如BERT），适用理解类任务；Decoder：带因果掩码的自回归生成，逐步预测下一词（如GPT），适配文本生成场景；解码技术：搜索策略：贪心解码（高效但单调）、束搜索（全局优化但保守）；采样策略：Top-k/Top-p动态截断概率分布，结合温度系数调控随机性，平衡生成质量与多样性；惩罚机制：重复惩罚、长度惩罚提升生成合理性。
2025-06-06 14:20:35
2638
原创 (第二章)深度学习标准化技术综述: 从BatchNorm到DeepNorm的演进与实战
本文系统梳理深度学习归一化技术，揭示其通过稳定隐藏层输出分布解决梯度消失/爆炸、加速训练的核心机制。对比分析BN（批量统计）、LN（序列模型优化）、IN（风格迁移）、GN（小批量适配）及高效RMS Norm的原理与局限；深入探讨Transformer中Pre-LN/Post-LN的结构差异，并解析千层模型专用技术DeepNorm的缩放策略与初始化改进。结合数学公式、代码示例及场景对比，为模型设计与调优提供关键技术指南。
2025-06-05 07:45:00
7372
7
原创 (第一章)深度学习标准化技术综述: 从BatchNorm到DeepNorm的演进与实战
本文系统梳理深度学习归一化技术，揭示其通过稳定隐藏层输出分布解决梯度消失/爆炸、加速训练的核心机制。对比分析BN（批量统计）、LN（序列模型优化）、IN（风格迁移）、GN（小批量适配）及高效RMS Norm的原理与局限；深入探讨Transformer中Pre-LN/Post-LN的结构差异，并解析千层模型专用技术DeepNorm的缩放策略与初始化改进。结合数学公式、代码示例及场景对比，为模型设计与调优提供关键技术指南。
2025-06-04 07:45:00
1411
原创 【第三章】大模型预训练全解析：定义、数据处理、流程及多阶段训练逻辑
本文系统解析大模型预训练全流程：核心机制：基于自监督学习的Next Token Prediction（NTP）目标，通过对数损失优化概率建模，解决数据稀缺问题并捕捉通用模式；数据处理：涵盖语料清洗、Tokenization（BPE/WordPiece）及多阶段差异化处理——预训练（PT）整段文本拼接、监督微调（SFT）屏蔽Prompt损失、奖励模型（RM）偏好对构建、策略优化（PPO）无监督格式；损失计算统一性：PT与SFT共享交叉熵损失函数，SFT通过labels中-100屏蔽Prompt部分
2025-06-03 14:15:23
1428
原创 【第二章】大模型预训练全解析：定义、数据处理、流程及多阶段训练逻辑
本文系统解析大模型预训练全流程：定义：通过大规模无标注语料的自监督学习（Next Token Prediction），使模型掌握通用知识和模式。数据处理：涵盖数据来源（网络/书籍）、清洗（去重/去噪）、分词（BPE等）及多阶段（PT/SFT/RM/PPO）的数据格式差异。训练逻辑：PT阶段：整段文本损失计算SFT阶段：仅计算Response部分的损失（通过-100屏蔽Prompt）统一使用交叉熵损失函数，数学推导涵盖困惑度与信息论关联。
2025-06-02 23:56:00
1299
原创 【第一章】大模型预训练全解析：定义、数据处理、流程及多阶段训练逻辑
本文系统解析大模型预训练全流程：定义：通过大规模无标注语料的自监督学习（Next Token Prediction），使模型掌握通用知识和模式。数据处理：涵盖数据来源（网络/书籍）、清洗（去重/去噪）、分词（BPE等）及多阶段（PT/SFT/RM/PPO）的数据格式差异。训练逻辑：PT阶段：整段文本损失计算SFT阶段：仅计算Response部分的损失（通过-100屏蔽Prompt）统一使用交叉熵损失函数，数学推导涵盖困惑度与信息论关联。
2025-05-30 10:28:06
1876
原创 [预训练]Encoder-only架构的预训练任务核心机制
本文系统解析了BERT预训练模型的核心技术，重点介绍其两大训练任务：掩码语言建模(MLM)和下一句预测(NSP)。MLM通过随机遮蔽15%的单词（其中80%替换为[MASK]，10%随机替换，10%保留原词），迫使模型学习双向上下文表征；NSP则通过判断句子对关系提升篇章理解能力。文章还分析了BERT的改进方案，包括RoBERTa的动态掩码、ALBERT的参数优化、SpanBERT的片段掩码等变体，并探讨了句子表征提取方法及各向异性问题的解决方案。
2025-05-29 20:41:48
1712
2
原创 Transformer核心技术解析LCPO方法：精准控制推理长度的新突破
本文系统梳理了Transformer模型的关键技术，包括前馈网络、注意力机制、位置编码等核心模块，并重点介绍了一种创新性的长度控制优化方法LCPO。该方法通过将目标长度作为提示输入，结合双重奖励机制（答案正确性和长度偏差惩罚），使模型能精准控制推理链长度。实验在数学推理数据集上验证了LCPO的有效性，相比传统方法能更好地平衡性能与效率，并在逻辑推理等任务中展现出良好的泛化能力。研究还探讨了该方法在短推理链场景下的应用潜力，为优化大模型推理效率提供了新思路。
2025-05-28 23:10:20
1507
原创 论文书写框架
■ 书写思路：a. 定义好研究的任务是什么。比如情感原因对抽取是个什么任务。嵌套NER等等b. 目前的挑战是什么？可以从前人工作的角度出发，怎么做的。有什么缺点？■ 书写思路：a. 我们提出了什么（直接说结论）i. 包含几个模块ii. 每个模块的作用，达到的效果b. 实验数据i. 实验结果说明了什么ii. 直接给结论，不用再写分析之类的（模型泛化性好、可解释性强）c.未来的工作（考虑其他因素，模型部分可以改进点，不要说模型的缺点）
2025-05-27 07:30:00
1532
原创 Transformer掩码技术全解析：分类、原理与应用场景
本文系统解析了Transformer模型中掩码（Mask）的核心作用与实现细节。掩码通过屏蔽无效信息（如Padding位置）或限制未来信息泄露（如Casual Mask），确保模型训练与推理的准确性。Padding Mask：屏蔽填充位置，确保注意力聚焦有效内容；Casual Mask：限制解码器访问未来信息，支持自回归生成；MLM Mask：驱动BERT等模型的遮蔽语言任务，结合Span Mask增强语义恢复。
2025-05-26 07:45:00
1790
原创 FFN前馈网络与激活函数技术解析：Transformer模型中的关键模块
本文深入解析Transformer模型中的前馈网络（FFN）及其激活函数的核心作用。FFN通过线性变换与非线性的激活函数（如ReLU、GeLU、Swish）增强模型表达能力，其中ReLU计算高效但存在神经元死亡问题，GeLU/Swish平滑处理负值但复杂度较高。进一步探讨基于门控机制（GLU）的FFN变体（如GeGLU、SwiGLU），通过信息选择性保留提升性能，但需平衡计算成本。结合代码与性能对比，文章总结选型策略：小规模任务优选ReLU/Swish，大模型推荐GeLU或GLU变体，兼顾效率与效果
2025-05-25 08:00:00
2172
原创 【大模型技术】Attention注意力机制详解三
本文剖析注意力机制的核心原理与实现，针对传统RNN处理长序列的梯度问题，阐释其通过动态权重捕捉长距离依赖的优势。解析缩放点积注意力计算流程，阐明Q/K/V矩阵作用及缩放操作（除以√d_k）的概率解释与数值稳定意义，探讨自注意力与交叉注意力的语义分工，强调Q/K分离对非线性关系建模的重要性。结合翻译案例说明其在Transformer中的应用，对比训练推理流程差异及架构特点（如完整Transformer与GPT模型），提供多维度技术解析。
2025-05-24 07:45:00
1768
原创 【大模型技术】Attention注意力机制详解二
本文剖析注意力机制的核心原理与实现，针对传统RNN处理长序列的梯度问题，阐释其通过动态权重捕捉长距离依赖的优势。解析缩放点积注意力计算流程，阐明Q/K/V矩阵作用及缩放操作（除以√d_k）的概率解释与数值稳定意义，探讨自注意力与交叉注意力的语义分工，强调Q/K分离对非线性关系建模的重要性。结合翻译案例说明其在Transformer中的应用，对比训练推理流程差异及架构特点（如完整Transformer与GPT模型），提供多维度技术解析。
2025-05-23 05:35:40
1294
原创 【大模型技术】Attention注意力机制详解一
本文剖析注意力机制的核心原理与实现，针对传统RNN处理长序列的梯度问题，阐释其通过动态权重捕捉长距离依赖的优势。解析缩放点积注意力计算流程，阐明Q/K/V矩阵作用及缩放操作（除以√d_k）的概率解释与数值稳定意义，探讨自注意力与交叉注意力的语义分工，强调Q/K分离对非线性关系建模的重要性。结合翻译案例说明其在Transformer中的应用，对比训练推理流程差异及架构特点（如完整Transformer与GPT模型），提供多维度技术解析。
2025-05-22 07:45:00
2041
原创 Transformer模型中位置编码（Positional Embedding）技术全解析(一)
本文解析Transformer位置编码的核心作用与技术演进。针对自注意力机制缺乏顺序感知的问题，对比绝对编码（固定正余弦、可学习编码）与相对编码（RoPE旋转、ALiBi线性偏置）的原理及优劣，涵盖傅里叶级数设计、外推能力等关键点。结合代码示例，总结主流方法（如Sinusoidal、RoPE）的参数效率与应用场景，探讨其在大模型（如LLaMA）中的实践趋势，为模型设计提供技术参考。
2025-05-21 07:30:00
1768
原创 Transformer模型中位置编码（Positional Embedding）技术全解析(二)
本文解析Transformer位置编码的核心作用与技术演进。针对自注意力机制缺乏顺序感知的问题，对比绝对编码（固定正余弦、可学习编码）与相对编码（RoPE旋转、ALiBi线性偏置）的原理及优劣，涵盖傅里叶级数设计、外推能力等关键点。结合代码示例，总结主流方法（如Sinusoidal、RoPE）的参数效率与应用场景，探讨其在大模型（如LLaMA）中的实践趋势，为模型设计提供技术参考。
2025-05-21 07:30:00
1078
原创 Transformer模型中位置编码（Positional Embedding）技术全解析(三)
本文解析Transformer位置编码的核心作用与技术演进。针对自注意力机制缺乏顺序感知的问题，对比绝对编码（固定正余弦、可学习编码）与相对编码（RoPE旋转、ALiBi线性偏置）的原理及优劣，涵盖傅里叶级数设计、外推能力等关键点。结合代码示例，总结主流方法（如Sinusoidal、RoPE）的参数效率与应用场景，探讨其在大模型（如LLaMA）中的实践趋势，为模型设计提供技术参考。
2025-05-21 07:30:00
1249
原创 自然语言处理核心技术词嵌入（Word Embedding），从基础原理到大模型应用
为了解决这种序列到序列（sequence-to-sequence）的问题，比如机器翻译中输入输出长度不一致的情况，人们引入了编码器-解码器结构，并使用了循环神经网络（RNN）。这是标准的 Word2Vec 方法，它的核心是训练出一个“词典式”的嵌入矩阵 W，只捕捉单个词的语义。因此，机器翻译的关键在于：如何从纯文本中提取出一种通用的语义表示，使得不同语言的词可以通过这一表示实现对齐。通过前面的介绍，我们可以理解：编码与解码中的“码”或“潜空间”，其实代表了AI模型真正理解语义的能力。
2025-05-20 07:30:00
1746
原创 【Tokenization第二章】分词算法深度解析：BPE、WordPiece与Unigram的原理、实现与优化
本文系统介绍了自然语言处理中常见的分词算法，包括BPE（Byte Pair Encoding）、BBPE（字节级BPE）、WordPiece和Unigram。通过代码示例和案例分析，详细阐述了各算法的核心思想
2025-05-19 14:31:38
1672
7
原创 DeepSeek-v3：基于MLA的高效kv缓存压缩与位置编码优化技术
在自回归大模型推理中，传统解码结构因逐词生成需反复计算历史token的注意力（Attention），导致内存爆炸与计算冗余两大核心瓶颈。DeepSeek-v3提出两大突破性技术，MLA高效kv缓存压缩技术;自适应位置编码优化;显著优化推理效率与资源占用.
2025-05-07 07:00:00
2421
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人