42、深入解析谷歌张量处理单元（TPU）：架构、性能与应用

深入解析谷歌张量处理单元（TPU）：架构、性能与应用

1. TPU 概述

TPU（Tensor Processing Unit）是专为超高效张量运算设计的专用集成电路（ASIC），秉持“少即是多”的理念，不具备 GPU 所需的所有图形组件，因此在能耗方面效率极高，且运算速度通常远超 GPU。目前，TPU 已发展至四代，此外还有适用于边缘计算的 Edge TPU。

2. 矩阵乘法基础

矩阵乘法的基本运算为一个矩阵的行与另一个矩阵的列的点积。对于大规模矩阵，顺序实现这种运算耗时较长，暴力计算的时间复杂度为 $O(n^3)$（$n \times n$ 矩阵），对于大规模计算并不可行。

3. 历代 TPU 介绍

• 第一代 TPU（TPU v1）
  • 发布时间 ：2016 年 5 月。
  • 功能特点 ：支持 8 位算术的矩阵乘法，专用于深度学习推理，不支持训练（训练需要浮点运算）。
  • 核心功能 ：“脉动”矩阵乘法，允许并行计算多个 $Y[i, j]$ 值。TPU v1 的矩阵乘法单元（MMU）在 256 x 256 核心上运行脉动乘法，一次可并行计算 65,536 次乘法。
  • 硬件参数 ：采用 28 nm 工艺节点制造，芯片尺寸 ≤ 331 $mm^2$，时钟速度 700 MHz，片上内存 28 MiB，32 位累加器 4 MiB，拥有 25