【谷歌TPU全栈技术解析】第三章 存储层次与片间互连网络

目录

第三章 存储层次与片间互连网络

3.1 高带宽内存（HBM）子系统

3.1.1 HBM3e物理层规范：4096-bit接口，7.4TB/s带宽的SerDes设计

3.1.2 内存控制器架构：Bank Group交错访问与行缓冲区（Row Buffer）管理

3.1.3 TPU v7的192GB容量配置：8层堆叠与TSV（硅通孔）技术的热管理挑战

3.1.4 虚拟内存与DMA引擎：4K/64K页表映射与scatter-gather列表处理

3.2 片上存储与数据重用

3.2.1 32MB Unified Buffer（UB）的bank冲突优化：双端口SRAM的访问模式

3.2.2 权重与激活值的tiling策略：卷积神经网络（CNN）的im2col内存布局

3.2.3 数据压缩硬件：梯度与激活值的浮点压缩（BFloat16 truncation）单元

3.3 3D Torus互连网络（ICI）

3.3.1 拓扑结构演进：v4的4x4x4（64芯片）到v5的12x12x8（8960芯片）扩展

3.3.2 光路交换（OCS）的物理实现：压电MEMS微镜阵列与光纤对准算法

3.3.3 路由协议：维度序路由（Dimension-Order Routing）与自适应拥塞控制

3.3.4 All-reduce与All-to-all的硬件加速：Ring算法与2D-Torus算法在ICI上的映射

代码实现部分

脚本1：HBM3e内存控制器与Bank Group交错访问模拟

脚本2：3D Torus ICI网络路由算法与集体通信模拟

脚本3：Unified Buffer tiling策略与数据压缩优化

---

第三章 存储层次与片间互连网络

3.1 高带宽内存（HBM）子系统