【谷歌TPU全栈技术解析】第五章集群部署与性能工程

5. 集群部署与性能工程

5.1 TPU Pod超级计算机架构

TPU Pod架构历经多代演进，从v4到v7形成了独特的可扩展超算体系。TPU v4 Pod配置4096颗芯片，采用液冷系统支持8.5MW功率负载，通过光路交换（OCS）技术构建3D Torus拓扑互联网络。该架构允许单Pod内部实现亚微秒级延迟的All-reduce操作，为大规模分布式训练提供物理层保障。

Ironwood（v7）Pod将芯片数量扩展至9216颗，采用双芯粒封装设计突破光罩尺寸限制，通过高速Die-to-Die接口互联两颗计算芯粒。该配置形成1.77PB的统一HBM地址空间，跨芯片内存访问通过ICI（Inter-Chip Interconnect）链路以1.2TBps带宽实现缓存一致性。v7 Pod总计提供42.5 ExaFLOPS的FP8稠密算力，相比v6e每瓦性能提升2倍。物理架构采用三级级联：芯片（Chip）→托盘（Tray，4芯片）→机架（Rack，64芯片，铜互联）→Pod（144机架，光互联）。

容错机制依赖OCS（Optical Circuit Switch）动态重构能力。光路交换机在物理层实现毫秒级拓扑重配置，当检测到芯片或链路故障时，控制平面自动计算替代路径，通过微机电系统（MEMS）调整镜面角度重新导向光信号，绕过故障节点并重建完整3D Torus拓扑。该过程无需光电转换，纯物理反射降低功耗与延迟。结合checkpoint/restart机制，训练任务可在秒级恢复，系统整体可用性达到99.999%（年停机时间低于6分钟）。v7 Pod额外配置冗余芯片（9216而非8192的2的幂次），为故障切换提供热备资源。