18、深度学习中的软硬件性能与自适应反射中间件

深度学习中的软硬件性能与自适应反射中间件

1. 深度学习中的DNN性能挑战与应对

1.1 DNN问题复杂度

当DNN为直线或树状结构时，相关问题能在多项式时间内解决。但对于更普遍的有向无环图，问题则属于NP难问题。不过，现有的PBQP求解器能在可接受的时间内解决实际中出现的许多情况。Anderson和Gregg运用此方法，相较于为DNN每层仅使用单一算法或数据布局，实现了显著的加速。

1.2 DNN的优势与挑战

在过去十年里，DNN在图像、视频和文本的分类与识别问题上，超越了其他机器学习技术的准确性。它能利用大量示例解决复杂、结构不佳的问题，而无需专门设计算法。然而，DNN在训练和推理过程中都需要大量的计算、内存和能量。推理问题尤为突出，因为它通常需在嵌入式和移动设备上进行，而非数据中心的强大服务器。

1.3 性能挑战的研究分支

为提高DNN性能，研究主要集中在以下几个方面：
- 使用高度优化的矩阵乘法库 ：利用高效的矩阵运算库提升计算速度。
- 硬件加速器 ：如专门设计的芯片来加速DNN计算。
- 权重的量化和字典编码 ：减少数据存储和计算量。
- 自定义数字精度 ：根据需求调整数据精度。
- 稀疏数据表示 ：针对稀疏数据进行优化。
- 应用编译器和组合优化技术 ：优化代码和资源分配。

1.4 3D数据