目录
2.1.1 块wise记忆高效注意力:FlashAttention的IO感知融合与重计算策略
2.1.2 Ring Attention的序列并行范式:环形拓扑中的KV块级联传递与计算-通信重叠
2.1.3 序列并行与张量并行的协同:DeepSpeed-Ulysses的All-to-All通信优化与2D并行策略
2.2.1 从S4到Mamba的演进:结构化状态空间模型的离散化与稳定性保证
2.2.2 选择性状态空间机制:输入依赖的参数化与硬件感知并行扫描
2.2.3 Mamba-2的状态空间对偶性(SSD):矩阵乘法视角下的训练效率提升
2.2.4 混合架构设计:Mamba-3的复数状态更新与MIMO推理优化
2.3.1 注意力汇点(Attention Sink)现象:初始Token的锚定效应与StreamingLLM的滑动窗口策略
2.3.2 H2O(Heavy-Hitter Oracle)动态淘汰算法
2.3.3 量化压缩技术:per-channel INT8/INT4量化与误差控制
2.3.4 分页注意力(PagedAttention):非连续块分配与Prefix缓存的内存碎片消除
2.4.1 局部-全局混合模式:Longformer的滑动窗口与全局Token设计
2.4.2 随机-窗口-全局三要素:BigBird的 O(n) 复杂度与通用近似能力证明
2.4.3 块稀疏与轴向注意力:二维分解策略在视觉-语言任务中的应用
2.4.4 动态稀疏性:基于内容的Token剪枝与Query感知的KV页选择(Quest)
2.5.1 激活重计算与内存优化:梯度检查点(Gradient Checkpointing)的层间策略与选择性重计算
2.5.2 异构计算架构:CPU-GPU混合卸载(Offloading)与NVMe层级存储扩展
2.5.3 多模态长上下文处理:Gemini 1.5 Pro的百万Token视频-音频-文本统一架构
2.5.4 生产部署优化:vLLM与TensorRT-LLM的长序列服务框架,延迟与吞吐的权衡策略
第二章 计算效率优化与系统架构设计
2.1 注意力机制的二次复杂度破解
Transformer架构的自注意力机制在序列长度 T 上具有 O(T2) 的计算复杂度和内存复杂度,这成为制约长上下文建模的根本瓶颈。本节探讨通过算法-硬件协同设计破解这一复杂度的关键技术
订阅专栏 解锁全文
477



被折叠的 条评论
为什么被折叠?



