- 博客(20)
- 收藏
- 关注
原创 从沙粒到智能 | 前言(未完待续,每天早上10点更新)
《从沙粒到智能》一书揭示了硅芯片制造的惊人历程:从普通沙粒到包含数十亿晶体管的微型芯片,需要跨越1000多道精密工序,涉及量子力学、化学工程等多学科尖端技术。全书分11章系统介绍芯片设计、晶圆制造、封装测试全流程,剖析光刻机等核心设备的不可替代性,探讨芯片产业的经济特性和未来趋势。作者以通俗语言解析这一资本与技术密集的行业,旨在让普通读者理解支撑现代数字文明的芯片制造奥秘。本书适合工程师、学生、投资者等所有对半导体技术感兴趣的人群阅读。
2026-06-19 09:14:20
29
原创 大模型推理技术 | 第15章 SLO与容量规划(完结篇)
PXX延迟:百分位数延迟,PXP_XPX表示X%的请求在TTT毫秒内完成。例如P95500msP95500ms意味着95%请求的延迟≤500ms。首token延迟(TTFT,Time To First Token):从请求发送到收到第一个输出token的时间。用户对话体验中TTFT应≤200ms。每token延迟(TPOT,Time Per Output Token):生成阶段每个token的平均时间。流畅对话要求TPOT≤50ms(即20tok/s)。
2026-05-17 11:06:21
346
原创 大模型推理技术 | 第14章 长上下文推理(未完待续,每天早上10点更新)
长上下文推理面临三重挑战:显存爆炸(KV Cache与长度线性增长)、计算平方复杂度(注意力矩阵L2L^2L2)、注意力分数稀释(长距离信息"湮没")。处理100K+ token需综合多种优化技术。稀疏注意力将复杂度从OL2O(L^2)OL2降至线性或OLLOLL:滑动窗口注意力最为实用,复杂度OL⋅WOL⋅W,Mistral等模型已验证32K+ token能力。KV Cache优化是降低显存占用的关键。
2026-05-16 12:01:35
402
原创 第13章-多GPU推理
多GPU推理解决两大问题:扩大显存容量以承载超大模型(≥70B);通过并行计算缩短单步延迟。通信开销是核心代价,需在并行度和效率间权衡。张量并行将单层内计算拆分,适合单层参数量大的模型(如超大宽度FFN)。通信模式为AllReduce/All-to-All,需利用NVLink高速互联降低开销。流水线并行按层切分模型,通信频率低(每micro-batch仅一次Send/Recv),适合低带宽环境。通过微批次和1F1B调度将气泡降至可接受范围。混合并行策略组合多种技术。
2026-05-16 10:36:08
416
原创 大模型推理技术 | 第13章 多GPU推理(未完待续,每天早上10点更新)
多GPU推理解决两大问题:扩大显存容量以承载超大模型(≥70B);通过并行计算缩短单步延迟。通信开销是核心代价,需在并行度和效率间权衡。张量并行将单层内计算拆分,适合单层参数量大的模型(如超大宽度FFN)。通信模式为AllReduce/All-to-All,需利用NVLink高速互联降低开销。流水线并行按层切分模型,通信频率低(每micro-batch仅一次Send/Recv),适合低带宽环境。通过微批次和1F1B调度将气泡降至可接受范围。混合并行策略组合多种技术。
2026-05-14 15:51:24
388
原创 大模型推理技术 | 第12章 推理框架对比(未完待续,每天早上10点更新)
吞吐量(Throughput):单位时间内处理的token数量,通常以tok/s或requests/s衡量。高吞吐意味着更低的运营成本,特别适合离线批处理(如文档分析、代码扫描)。量化示例:对一个7B模型,吞吐量从20 tok/s提升到80 tok/s意味着同样硬件可服务4倍请求。延迟(Latency):单个请求从发送到收到完整响应的时间。对于在线对话系统,用户可接受的首token延迟通常<200ms,后续每个token延迟<50ms。
2026-05-11 11:37:42
429
原创 大模型推理技术 | 第11章 MoE模型推理(未完待续,每天早上10点更新)
MoE通过稀疏激活实现参数量扩展而计算量可控:总参数量=E×N,激活参数量=(K/E)×N,在Mixtral 8x7B中实现47B参数但推理成本仅13B。MoE推理面临三大核心挑战:动态路由导致的数据重排开销;全量专家权重加载带来的显存压力;负载不均引发的专家倾斜和批处理瓶颈。专家并行是MoE推理的关键优化技术:将专家分布到多GPU,使用All-to-All通信聚合token,可解决单卡显存不足问题但引入通信开销。专家缓存和路由优化可缓解负载不均衡。
2026-05-10 15:49:56
413
原创 大模型推理技术 | 第10章 量化(未完待续,每天早上10点更新)
量化通过降低数值精度减少显存占用和加速计算:INT8量化减少50%显存,INT4减少75%,配合Tensor Core可实现2-4倍算力提升。训练后量化(PTQ)是最轻量的部署方案:无需重新训练,收集少量校准数据即可完成,精度损失通常<1%。GPTQ和AWQ是大模型INT4量化的主力算法:GPTQ通过误差补偿机制,AWQ通过保护高激活值对应的权重通道,两者都能在4位精度下保持接近FP16的生成质量。GGUF使CPU推理成为可能。
2026-05-09 11:00:52
375
原创 大模型推理技术 | 第9章 Speculative Decoding(未完待续,每天早上10点更新)
推测解码通过"猜测+验证"绕过自回归瓶颈:草稿模型生成多个候选token,目标模型并行验证,一次前向传播可生成多个token,理论加速比可达3-5倍。正确性有数学保证:接受/拒绝准则基于概率比率测试,使最终采样分布与直接使用目标模型等价,不改变模型行为。草稿模型需平衡速度与准确率:参数量通常为目标模型的1/50到1/10,接受率期望约0.7-0.8时效果最优。自适应草稿长度策略:基于滚动接受率动态调整KKK,可在运行时自动优化加速效果。批处理中需处理变长验证。
2026-05-07 15:36:03
447
原创 大模型推理技术 | 第8章 PagedAttention(未完待续,每天早上10点更新)
PagedAttention的核心创新是将操作系统虚拟内存和分页思想引入KV Cache管理,通过固定大小的块和非连续存储彻底解决了传统系统的显存碎片问题。三大核心机制包括:分页式存储(消除内外部碎片)、虚拟内存映射(实现灵活物理布局)、内存共享与Copy-on-Write(减少多序列场景的内存冗余)。vLLM系统架构由调度器、块管理器和专用注意力内核三组件构成,分别负责请求调度、内存分配和高效计算,实现了持续批处理和抢占式调度。性能优势显著。
2026-05-07 10:26:29
369
原创 大模型推理技术 | 第7章 FlashAttention(未完待续,每天早上10点更新)
问题本质:标准注意力的ON2O(N^2)ON2显存复杂度源于显式存储注意力矩阵,导致HBM带宽成为性能瓶颈,GPU利用率低下。核心突破:FlashAttention通过分块计算和在线softmax,将注意力计算融合为单个GPU kernel,HBM访问量从ON2O(N^2)ON2降至ON2dMON2dM,显存复杂度优化为ONO(N)ON。在线softmax:这是分块计算的关键使能技术——维护运行最大值mmm和指数和ℓ\ellℓ。
2026-05-06 10:57:40
444
原创 大模型推理技术 | 第6章 显存带宽瓶颈(未完待续,每天早上10点更新)
显存带宽是指GPU在单位时间内能够从显存(VRAM)读取或写入的数据量,单位通常为GB/s或TB/s。它决定了数据从存储单元到计算单元的速度上限。生活类比:想象一个繁忙的厨房(GPU计算单元)。厨师准备菜肴的速度极快,但食材储存在远处的冷库(显存)中。如果只有一个狭窄的走廊通道,厨师能拿到新材料的速度就被限制了。显存带宽就是这个“走廊”的宽度和通过速度。从数学角度看,一次矩阵乘法运算YXWY = XWYXW数据读取:从显存读取输入XXX和权重WWW计算:执行乘加操作数据写回:将输出Y。
2026-05-02 15:48:32
404
原创 大模型推理技术 | 第5章 Batching(未完待续,每天早上10点更新)
Static Batching是最基础的批处理策略,实现简单但存在严重的木桶效应——最慢的请求拖累整个批次。仅在请求长度均匀的离线场景推荐使用。Continuous Batching在解码步级别动态重组批次,彻底消除木桶效应。现代推理系统(vLLM、TensorRT-LLM)均基于此架构,吞吐量比Static Batching提升2-4倍。Batch内合并计算将所有Token在序列维度拼接,使线性层和Attention层从循环串行变为单次并行张量计算。这是实现高效批处理的基础数学原理。
2026-05-01 06:28:03
421
原创 第4章-KV Cache
核心思想:KV Cache用显存换时间,将自回归生成的计算复杂度从OL2O(L^2)OL2降至OLO(L)OL,是推理优化的必选技术。工作机制:Prefill阶段并行初始化缓存,Decode阶段每步只计算新token的K、V,追加到缓存后计算注意力,避免重复计算历史token。显存瓶颈:KV Cache占用4×L×dmodel4×L×dmodel字节每层,长文本(32K tokens)或大批量场景下可能超过模型参数本身。工程实现。
2026-04-30 13:40:46
402
原创 大模型推理技术 | 第3章 Transformer推理基础(未完待续,每天早上10点更新)
四大组件:自注意力(全局交互)、多头注意力(多模式捕捉)、FFN(位置独立变换)、残差与层归一化(稳定训练)。这些组件共同构成了所有现代大语言模型的基础。推理流程:输入 → 嵌入+位置编码 → 多层自注意力/FFN → 输出投影 → Softmax → 采样。每一步都是确定性的前向计算,不涉及梯度。训练vs推理:推理不需要梯度,内存占用显著降低(仅参数,无优化器状态和梯度),但受限于自回归的因果依赖,无法充分利用并行性。复杂度分析:注意力计算随序列长度呈OL2O(L^2)OL2。
2026-04-30 11:53:19
365
原创 大模型推理技术 | 第2章 核心指标(未完待续,每天早上10点更新)
双视角理解指标:客户关注延迟、抖动、质量(快稳好);服务商关注吞吐、利用率、成本(省)。核心互斥关系:延迟-吞吐、TTFT-批大小、利用率-抖动——没有免费午餐,只有场景驱动的最优权衡。测量方法要科学:预热、百分位、逐步加压、分离瓶颈,避免被平均值误导。SLO是产品承诺:实时对话<300ms,代码生成<200ms,离线批处理可放宽到分钟级。成本模型可量化:每Token成本 = (硬件成本 × 单Token耗时) / 利用率,优化三大杠杆(硬件、吞吐、MFU)。工具代码可复用。
2026-04-29 10:15:12
487
原创 大模型推理技术 | 第1章 大模型推理是什么(未完待续,每天早上10点更新)
当你输入一个问题或提示(prompt)时,模型首先需要"阅读"并理解你的输入。这个初始处理过程就是Prefill阶段。技术本质:在Prefill阶段,模型一次性处理整个输入序列(prompt中的所有token),并行计算每个token的注意力表示,并生成第一个输出token。更重要的是,这个阶段会建立KV Cache(键值缓存)——将每一层的Key和Value矩阵保存下来,供后续生成使用。一个生活类比:想象你在准备一顿大餐。
2026-04-28 09:57:57
203
原创 大模型推理技术 | 前言(未完待续,每天早上10点更新)
2022年底,ChatGPT的横空出世让大语言模型(LLM)从实验室走向大众视野。短短两年间,模型参数规模从数十亿跃升至万亿级别,应用场景从对话问答扩展到代码生成、文档分析、智能决策等各个领域。训练一个大模型需要数千张GPU协同工作数月,而推理——即让训练好的模型为用户提供服务——则需要每天处理数百万次请求。在工业界,推理成本往往占据AI系统总成本的60%以上。对于初创公司和中小企业而言,高昂的推理成本成为应用大模型的最大障碍;
2026-04-27 22:14:25
378
原创 超越“更大“:大模型能力跃迁的四个纪元 —— 从模仿人类到体验世界
大模型的进化史,本质上是训练信号从稀疏走向稠密、从最终结果走向过程因果、从人类给予走向世界发现的历史。本文梳理了四大纪元:模仿纪元、推理纪元、过程纪元、物理纪元,揭示从行为克隆走向因果理解的范式革命。
2026-04-26 22:21:17
326
原创 1000行代码搞明白“爱马仕”
参考了 CPU 缓存的设计思路:不同层级存储不同时效的信息。层级存储特点示例L1MEMORY.md最重要、长期有效项目配置、核心能力L2USER.md用户个人信息姓名、偏好、习惯L3SQLite历史会话过去的对话记录L4skills/技能文档从经验中提取的方法传统 AI 每次做同样的任务,都要从头开始。分析每次任务提取可复用的经验保存为技能下次直接复用。
2026-04-23 17:09:20
899
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅