24、AI加速器的内存计算：挑战与解决方案

AI加速器的内存计算：挑战与解决方案

1. 引言

1.1 现代机器学习

机器学习（ML）或人工智能（AI）对社会产生了巨大影响。像深度神经网络（DNNs）这样的ML算法，在计算机视觉、自然语言处理和医学成像等各种应用中，实现了超越人类感知水平的准确性。

ML算法的流行主要得益于两个方面：
- 各种应用（如图像分类、目标检测和分割）有大量可用的大数据集。
- 下一代机器学习硬件加速器和通用服务器平台提供了更高的计算能力，使得大型ML模型的训练和推理更加便捷。

机器学习算法大致可分为监督学习和无监督学习：
| 学习类型 | 描述 | 常见技术 |
| ---- | ---- | ---- |
| 无监督学习 | 从无标注数据分布中提取特征的过程，旨在找到数据的最优表示，如选择样本、去噪和聚类等 | 聚类、主成分分析（PCA）、自编码器、高斯势函数等 |
| 监督学习 | 用标注的训练集训练ML模型，并用标注的测试集进行测试，可分为经典方法和深度学习 | 经典方法：马尔可夫链、决策树、支持向量机（SVM）、最大似然估计（MLE）等；深度学习：多层感知机（MLP）、卷积神经网络（CNN）、循环神经网络（RNN）等 |

无监督学习算法的目标是找到数据的最优表示，这种表示能保留输入数据的最大信息，同时利用约束确保表示比数据本身更简单。定义更简单表示的三种主要方式为低维表示、稀疏表示和独立表示。

经典监督学习方法存在一些缺点，如缺乏泛化能力、难以扩展以及每个算法都需要大量的数据工程。深度学习算法建立在经典技术之上，解决了其中的一些问题。

在深度学习中，