InfraTech-优快云博客

原创 DeepSeekV4中RoPE设计解析

本文解析了DeepSeek V4中RoPE（旋转位置编码）的设计难点与解决方案。在升级的注意力结构（CSA/HCA）中，RoPE面临两个核心问题：1）KV压缩操作下位置信息注入时机（压缩前/后）；2）MQA模式下KV共享导致位置信息污染V向量。文章通过对比V2/V3的MLA方案，指出V4采用折中设计——在Q、K隐藏维度中划分专用部分进行RoPE计算，既保留位置信息又避免污染V。此外，针对压缩场景，V4选择在压缩后对K值按128段起始位置施加旋转，并通过逆旋转输出消除绝对位置偏差。

2026-07-14 21:00:00 387

原创 RL训推调度与切换（Megatron⇄SGLang）机制解析

本文解析了在强化学习(RL)框架中如何通过Ray实现训练与推理的资源调度与切换，重点探讨了Megatron和SGLang框架下的资源管理机制。文章首先介绍了Ray的placement group预占机制和cuHook显存劫持技术，随后通过六个递进案例展示了资源调度实践，包括Ray调度SGLang、多节点SGLang启动、训练侧显存释放等关键技术。最后提出了训练与推理交错使用资源的解决方案，为RL框架中GPU资源的高效利用提供了实践指导。配套的InfraTech知识库还提供了相关技术文档和代码示例。

2026-07-14 08:30:00 365

原创图解DeepSeek V4：详细计算流程解析

本文解析了DeepSeek V4 Pro大模型架构，该模型参数量达1.6T，支持1M上下文推理。模型采用混合专家系统（MoE）设计，包含普通MoE和哈希MoE两种类型，并创新性地结合了三种注意力机制：压缩稀疏注意力（CSA）、重压缩注意力（HCA）和滑动窗口注意力（SWA）。文章详细剖析了CSA和HCA模块的核心压缩算法（C4A和C128A），以及MoE模块的路由优化策略（softplus+sqrt替代softmax）。模型通过多token预测（MTP）提升推理效率，整体架构兼顾计算效率和长文本处理能力。

2026-07-13 21:30:00 296

原创 PD分离+弹性伸缩/角色切换的实践笔记

本文探讨了大模型推理服务中的PD（Prefill-Decode）分离技术及其优化实践。PD分离通过将算力密集的Prefill阶段与访存密集的Decode阶段资源分离，显著提升了GPU利用率，现已成为主流部署方案。然而，静态PD分离在应对流量波动和多变需求时存在局限性。作者提出两种动态优化手段：弹性伸缩（支持P/D实例的细粒度扩缩容）和角色切换（实现P/D角色热切换、多模型动态加载及混合部署模式切换）。

2026-07-13 08:00:00 375

原创 Qwen3 VL多模态解析

本文分析了Qwen3-VL多模态模型的结构与视觉处理流程。文章首先对比了32B（Dense）和235B（MoE）两个版本的架构参数差异，重点解析了图像到token的编码过程：通过16×16的patch划分将图像网格化，经3D卷积映射后由Merger模块压缩序列长度，最终与文本维度对齐。详细说明了PatchEmbed和Merger组件的设计，包括空间压缩、层归一化和线性映射等关键操作，揭示了视觉信息如何适配语言模型输入。

2026-07-11 11:38:12 645

原创彻底搞懂RoPE计算原理：从1D到3D

本文深入探讨了RoPE的位置编码原理及其在Transformer中的应用。文章从二维向量的点积与旋转运算基础入手，逐步解析RoPE如何通过旋转变换在query和key中注入相对位置信息，而无需显式存储位置矩阵。

2026-07-10 21:30:00 458

原创 2026大模型架构概览（三）：Step 3.5 Flash & Kimi K2.5

本文介绍了2026年两款大模型架构：Step 3.5 Flash和Kimi K2.5。Step 3.5 Flash是StepFun开源的高吞吐推理MoE大语言模型，采用GQA+滑窗注意力混合设计，支持256K长上下文，通过稀疏MoE路由（288专家/Top-8激活）和MTP技术提升效率。Kimi K2.5是MoonshotAI的原生视觉-语言模型，采用MLA+MoE架构（1T参数/32B激活），视觉模块使用MoonViT，支持256K上下文，与DeepSeekV3相比优化了专家数量和词表规模。

2026-07-10 09:02:11 226

原创 PyTorch中基于CUDA IPC的进程间Tensor共享简介

文章摘要：本文介绍了PyTorch中基于CUDA IPC实现进程间Tensor共享的技术方案。针对大模型训练/推理中的KV Cache跨卡共享和RL训练权重传输场景，详细解析了CUDA IPC的核心机制与两种典型应用：同卡数据共享通过句柄传递实现显存零拷贝访问；跨卡IPC支持远程直接读写显存。通过C++/PyTorch代码示例演示了进程间共享Tensor的具体实现，包括隐式传递（借助multiprocessing队列）和显式传递（手动管理IPC句柄）两种方式。

2026-07-09 21:00:00 223

原创 VLM视觉-语言融合全流程解析｜基于Kimi K2.5/VL

本文解析了VLM（视觉-语言模型）中视觉与语言融合的全流程，以Kimi K2.5为例，详细介绍了从图像/视频预处理到最终与文本序列合并的关键步骤。主要内容包括：1）通过MoonViT处理视觉数据，包括抽帧、分块、编码和投影；2）文本分词与占位符处理；3）视觉特征与文本embedding的序列合并方法。文章还提供了代码示例，帮助理解各阶段的张量变换过程。更多技术细节可参考InfraTech开源库。

2026-07-09 10:16:44 467

原创 AttnRes快速看：Kimi优化残差的新方案

Kimi提出的Attention Residual方案优化了传统ResNet的残差连接方式。文章分析了三种改进方案：直接数据拼接（DenseNet思路）因计算复杂度高不可行；引入权重计算的注意力机制虽合理但计算量大；最终采用分块混合模式，块内保持残差连接，块间使用注意力机制。该方案在Kimi KDA 48B模型上验证有效，平衡了信息传递效率和计算成本。相比传统残差连接，Attention Residual通过差异化处理历史层信息，实现了更优雅的信息传递方式。相关代码已开源，技术细节可参考科学空间文章。

2026-04-21 19:30:00 764

原创 2026大模型架构概览（二）：GLM 5 & DSV3.2

本文介绍了2026年两款采用DSA（DeepSeek Sparse Attention）注意力机制的大模型架构：GLM 5和DeepSeek V3.2。GLM 5是智谱发布的774B参数MoE模型，采用DSA稀疏注意力机制，支持200K上下文长度，在多项基准测试中表现优异。DeepSeek V3.2则通过DSA机制显著降低计算复杂度，总参数量671B，支持128K上下文，推理性能接近GPT-5。

2026-04-21 07:45:00 621

原创 2026大模型架构概览（一）：Qwen3.5&MiniMax M2.5

2026年大模型架构概览：Qwen3.5和MiniMax M2.5 Qwen3.5系列包含MoE和Dense两个版本。MoE版Qwen3.5 397B采用混合注意力机制（Gated DeltaNet+Gated Attention）与MoE结合，支持26万token上下文；Dense版27B模型采用类似结构搭配FFN。MiniMax M2.5采用GQA+MoE架构，总参数量229B，在多项评测中表现优异，推理速度较前代提升37%。两款模型均展示了2026年大模型在注意力机制和架构设计上的创新。

2026-04-20 20:00:00 1384

原创如何学习大模型推理平台技术栈？

这篇文章系统介绍了大模型推理平台技术栈的学习路径。作者首先概述了推理平台的技术架构图，指出平台开发需要关注分布式推理、存储、调度等核心能力。接着针对推理框架工程师角色，提出了分阶段学习建议：从基础概念入手，通过简化框架（如Nano-vLLM）建立认知，再深入主流框架（vLLM/SGLang）源码分析关键模块。文章还推荐了多个关键技术点的专题解析，包括调度器、KV缓存管理、ChunkedPrefill等优化方法，并附有详细的技术文章链接和开源项目资源，为学习者提供了清晰的技术成长路线图。

2026-04-20 10:37:11 408

原创推理框架极简入门：用Nano-vLLM搭建知识体系

本文介绍了如何使用轻量级框架Nano-vLLM快速入门AI推理框架。作者指出主流框架代码量大、门槛高，而Nano-vLLM（约1.2k行代码）实现了PagedAttention、Continuous batching等核心功能，适合学习。文章详细解析了推理框架处理请求的流程：从文本编码、KV cache显存分配到prefill/decode阶段的计算，并配套可独立运行的Notebook示例。

2026-04-15 20:00:00 398

原创推理框架为什么没在Prefill阶段支持CUDA Graph？

文章探讨了推理框架在Prefill阶段未支持CUDA Graph的原因。主要由于Prefill阶段输入长度变化范围大，导致数据形状频繁变化，而CUDA Graph要求输入形状固定。相比之下，Decode阶段因输入长度变化有限更易适配。尽管CUDA Graph能减少CPU开销并优化GPU执行，但Prefill阶段需权衡显存占用、算子支持度和启动成本。目前vLLM采用分段编译策略（PIECEWISE模式），仅对部分操作启用CUDA Graph。

2026-04-15 09:59:59 826

原创 Nano-vLLM架构介绍

Nano-vLLM是一个轻量级大模型推理框架，核心代码仅约1.2k行，支持单节点张量并行和Qwen3模型运行。框架包含四大核心模块：LLM Engine作为中央调度器，负责请求处理全流程；Block Manager基于PagedAttention管理KV cache显存；Scheduler通过双队列机制实现请求调度；Model Runner完成模型前向计算，支持多进程协作。该框架采用PyTorch、flash_attn等技术实现，具有模块化设计特点，特别适合AI Infra初学者学习大模型推理框架基础架构。

2026-04-14 19:30:00 463

原创如何系统地分析大模型推理框架（SGLang/vLLM）的性能瓶颈？

本文系统分析了大模型推理框架（如SGLang、vLLM）的性能瓶颈问题，指出需要从多维度（用户需求、业务规模、硬件配置等）进行全局考量。文章提供了性能优化脑图，建议通过打点监控和profiling工具定位瓶颈，重点关注GPU显存、访存带宽等限制因素。同时介绍了多种优化方法，如调度优化、量化压缩、投机推理等，并附有实践案例和详细技术参考资料。强调性能瓶颈会随条件变化而转移，需结合具体场景进行深度分析。

2026-04-14 08:00:00 721

原创 LLM推理框架(SGLang/vLLM)入门Notebook练习（2026年第2期）

本文介绍了LLM推理框架(SGLang/vLLM)的入门Notebook练习，涵盖10个核心主题：1)SGLang性能剖析数据采集与分析；2)vLLM显存可视化；3)KV Cache传输与重计算对比；4)集合通信原理；5)并行策略(DP/TP/PP/SP)；6)DeepSeek MLA的MHA与MQA模式运算量对比；7)LinearAttention的KV cache存储优势；8)推理非确定性运算；9)LLM量化计算基础；10)训推角色切换。

2026-04-13 19:00:00 984

原创 SGLang Profiling入门：数据采集与分析

本文介绍了SGLang框架下进行推理性能剖析(Profiling)的完整流程。通过搭建GPU-A100环境，以Qwen2.5-7B-Instruct模型为例，详细说明了从环境配置、数据采集到结果分析的全过程。重点演示了如何使用HTTP API接口控制性能分析采集，并通过Perfetto工具可视化分析Python层和GPU层的运行时序。文章还深入解析了Prefill和Decode两个关键阶段的执行细节，包括Embedding计算、Layer层处理以及CUDA Graph的应用等核心环节。

2026-04-13 11:04:02 779

原创分布式训练/推理基础：集合通信原理与实践

本文介绍了分布式训练/推理中的集合通信原理与实践。集合通信是GPU设备间数据交互的关键操作，包括gather、all-gather、reduce等常见操作。文章通过原理讲解与代码演示相结合的方式，详细说明了这些操作的拓扑结构、数据维度变化以及实现方法。主要内容涵盖：基本概念：解释了集合通信的定义、数据维度重要性以及不同维度的聚合方式（行/列聚合）。

2026-03-27 11:07:44 461

原创大模型推理并行策略(DP/TP/PP/SP/EP)原理简介

本文介绍了大模型推理中常用的并行策略（DP/TP/PP/SP/EP），用于解决单GPU显存不足或算力不足的问题。数据并行（DP）通过多模型副本并发处理请求；张量并行（TP）将模型层拆分到不同GPU；流水线并行（PP）按层拆分数据以流水线处理；序列并行（SP）切分长序列并行计算；专家并行（EP）专用于MoE模型，分配专家网络到不同GPU。文章通过代码示例演示了各策略的实现原理，并分析了其适用场景与性能差异。

2026-03-25 19:30:00 896

原创大模型推理量化(Quantization)基础速览

本文系统梳理了大模型推理中的量化技术，从计算特点、量化压缩到主流框架应用。量化通过降低数据精度（如FP8/INT8）提升计算速度，减少显存占用和通信开销，但会引入精度损失。文章详细分析了不同数据类型（FP8/INT4等）的表示范围、量化误差特点，以及混合精度策略的权衡方法。量化计算主要应用于线性层，需遵循GPU硬件规则（如FP8输入配FP32累加器）。最后介绍了量化在SGLang、vLLM等框架中的实践应用，为平衡速度与精度提供技术参考。

2026-03-25 07:00:00 418

原创降低RL训推共卡开销：SGLang/vLLM的无缝切换实现与分析

本文探讨了在强化学习（RL）训推共卡场景中降低推理框架切换开销的优化方法。针对SGLang/vLLM等推理框架在频繁启动时的显存分配和CUDA Graph重编译问题，提出利用CUDA虚拟地址管理（VMM）技术实现权重和KV Cache的热启动。通过保持虚拟地址不变、仅更新物理块映射的方式，可避免重复编译CUDA Graph，显著缩短框架重启时间。实验验证表明，该方法能有效减少RL迭代过程中框架切换的开销，提升整体资源利用率。相关代码示例已开源，为AI Infra领域的性能优化提供了实践参考。

2026-03-23 22:33:23 647

原创提速30%：vLLM推理的Swap特性实践

本文介绍了vLLM框架中KV Cache Swap技术的实践应用，通过在单机环境下实现KV Cache在GPU显存与CPU内存间的动态交换，显著提升端侧AI推理性能。文章首先分析了影响本地AI服务响应速度的关键因素，指出KV Cache的分布式特性缺失是导致端侧性能瓶颈的主因。随后详细阐述了Swap技术原理，包括存储介质层级、传输路径及性能优势阈值分析，表明在PCIe带宽条件下KV Cache传输优于重计算。方案设计遵循低侵入性原则，在不修改现有调度逻辑的前提下实现Prefix Cache的本地内存交换，实

2026-03-23 12:38:15 782

原创 LLM推理框架(vLLM/SGLang)入门Notebook练习（2026年第1期）

本文介绍了LLM推理框架(vLLM/SGLang)的入门练习，包含10个核心知识点：KV Cache计算、推理采样、ChunkedPrefill&FlashDecoding、基础调度器、Radix Attention、Ulysses并行优化、投机推理、LoRA&Multi-LoRA、推理非确定性运算和ZMQ库操作。每个知识点配有详细说明、相关文章链接和代码练习，帮助初学者快速掌握LLM推理框架的基本概念和实现原理。

2026-03-20 10:47:12 477

原创推理非确定性运算：原理拆解+vLLM/SGLang实操控制

本文探讨了大模型推理中的非确定性问题及其解决方案。作者首先分析了大模型推理结果不确定性的两类来源：一是主动引入的随机采样机制（如Temperature/Topk等），二是超出预期的计算不确定性（如浮点数运算顺序差异）。针对前者，可通过固定随机因子或使用确定性采样方式解决；针对后者，则需解决动态批处理和多进程处理带来的计算顺序变化问题。文章通过Triton示例展示了不同线程块大小对计算结果的影响，并指出低精度运算会放大误差。

2026-03-20 09:35:25 525

原创实测3x提速！DeepSeekV3/V3.2推理的Ulysses并行优化实践

【摘要】本文介绍了DeepSpeed-Ulysses序列并行技术在DeepSeekV3/V3.2推理中的优化实践。Ulysses通过GPU间数据交换（all-to-all通信）实现序列分片与重组，使每个GPU能处理完整序列的Attention计算，有效解决长序列推理和负载不均问题。通过对比标准MHA与Ulysses的运算流程，结合PyTorch代码示例，阐释了其核心原理。实际应用中，结合权重分片等优化手段，在DeepSeekV3系列模型上实现了0.2~3.0倍的性能提升。

2026-03-19 11:10:33 861

原创手撕SGLang KV Cache核心逻辑：快速理解RadixAttention

本文解析了SGLang框架中基于RadixAttention的KV cache管理模块，重点探讨了其核心设计原理与实现机制。文章从物理显存使用入手，详细分析了KV cache的存储格式、page管理策略及显存分配逻辑。针对MHA结构，阐述了token显存占用计算、连续显存布局策略，以及通过slot索引和页表实现请求管理的方法。文章还提供了可独立运行的代码示例，帮助读者深入理解RadixAttention在KV cache管理中的高效实现，包括碎片问题处理、RadixTree数据结构搭建等关键技术要点。

2026-03-18 19:00:00 535

空空如也

空空如也