2、特定领域计算与机器学习算法加速全解析

特定领域计算与机器学习算法加速全解析

1. 特定领域计算概述

在当今的计算领域，不同的计算平台和编程模型在处理各种任务时各有优劣。对于云计算平台，其编程模型大致可分为基于MapReduce的编程模型和基于图计算的编程模型。基于MapReduce的编程模型将程序抽象为Map和Reduce两个阶段，更适合处理依赖程度较低的数据；而基于图计算的编程模型则将程序抽象为基于图的计算，每个节点根据相邻边和节点的信息进行计算，更适合数据相互依赖程度较高的情况。

对于通用图形处理单元（GPGPU），其软件系统有基于单程序多数据（SPMD）的CUDA、OpenCL和OpenACC。GPGPU内部通常由多个流式多处理器（SM）组成，每个SM又包含多个流式处理器（SP）。多个SM共享全局内存，每个SM中的SP共享多个寄存器和共享内存，本质上相当于多核架构，能很好地在数据层面实现问题的并行化。

现场可编程门阵列（FPGA）和专用集成电路（ASIC）目前主要用于为特定算法和问题设计专用硬件加速器。FPGA常作为验证和模拟设计的加速器架构的中间设备，验证完成后可定制专用的ASIC加速器。FPGA因其灵活的可编程性和可重构性，本身也可作为专用加速设备，针对不同问题进行最合适的重构使其具有巨大的加速潜力。

然而，当前通用CPU在处理机器学习算法时并不理想。机器学习算法具有数据和计算密集、流式数据传输和迭代计算以及分支指令少等特点，导致CPU内存访问效率和计算能力难以满足大规模机器学习应用的需求，且基于最近最少使用（LRU）策略的CPU缓存未命中比例较高，使得算法执行效率低下，同时还存在分支预测组件浪费的问题。GPU在处理高度相关的数据时效率较低，且功耗较高。因此，使用FPGA为机器学习算法设