张小殊的博客

AMD 的 GPU 早期主要使用OpenCL来开发，后来为了提高开发效率，借鉴了很多 CUDA 的设计理念，推出了支持和 OpenCL 编程的ROCm 框架。ROCm在设计风格上类似于CUDA，提供了非常丰富的开发工具，包括 HCC编译器，性能分析工具rocProf，数学库如rocBLAS、rocFFT、rocSOLVER、rocSPARSE、rocRand、深度学习库MIopen等。

本次实验为基于CUDA的并行化推理设计，本文首先根据其结构对其进行划分，将大问题转化为小问题，然后逐次编写CUDA C代码进行解决，具体的，本文首先将分为Layer NormMLP Block和残差结构四个部分，接着又对MLP Block进行了细分，对于的并行化，将其分成了六个部分，分别为liner_1（计算，得到的b1B×197×2304）为结果）、Permute_1(将b1B×197×2304）划分得到qkv3×B×8×。

从CUDA的实验结果可以看到，并行CUDA程序实现的矩阵乘法相比于串行的串行有了很大的速度提升，而且我们观察到，对于不同阶数的矩阵计算来说，较小的矩阵加速比往往比较大矩阵的加速比要低，这可能是因为计算任务小，GPU资源利用率不高，相较于计算来说，可能内核启动、分配内存所占时间的比重更大。t=N7T8。

OpenCL (Open Computing Language) 是由Khronos Group制定的开放式并行计算标准。它允许开发者利用异构计算平台上的多核CPU和GPU等处理器进行并行计算。OpenCL可以用于各种应用领域，包括科学计算、图形处理、机器学习等。

本文对近年来多核处理器、众核处理器以及并行编程模型的发展历程、研究现状和发展趋势进行概述。对比了各个编程模型的特点。硬件处理器从最初的单核到多核、众核再到现在为了满足不同应用和研究的异构体系CPU+GPU或CPU+AI加速卡等，处理器体系结构不断的发生着变化，同时从近年来不断出现的并行编程工具、人工智能专用优化技术来说，处理器走向专用化、简单化。功耗问题。

该模型定义了执行核对象所用的存储结构，是独立于设备平台实际硬件架构的一种抽象模型。在异构平台上的存储对象主要分为两类，包括主机上的内存模型和设备上的存储模型，而。程序实现过程中，用户只需考虑抽象的存储模型，而无需考虑具体硬件上的映射关系。仅仅只支持自家的加速卡，对其他显卡不支持，为了应对在不同硬件平台上使用一种并行编程标准，来映射与此节点相对应的数据元素，所有数据元素执行相同的操作指令，包括。，两者的网格划分形式基本一致，只是在名称上有所区别，在学习。，该空间内的每个处理单元并行执行核程序的一个实例，在。

CUDA的软件堆栈由以下三层构成：如图1所示，CUDA的核心是CUDA C语言，它包含对C语言的最小扩展集和一个运行时库，使用这些扩展和运行时库的源文件必须通过nvcc编译器进行编译。图1 CUDA软件栈示意图CUDA C语言编译得到的只是GPU端代码，而要管理分配GPU资源，在GPU上分配显存并启动内核函数，就必须借助CUDA运行时的API或者CUDA驱动APIDriver API）来实现。在一个程序中只能使用CUDA运行时API与。

本文主要记录了基于OpenMP和PThread实现不同线程、不同矩阵大小的矩阵乘法实例及其分析，代码注释比较详细，以供参考。

本文对oneAPI进行了详细的介绍，包括其出现的背景、模型架构（开发式规范、SYCL、DPC++、oneAPI工具包）。然后对基于跨架构的DPC++编程语言进行详细介绍，包括其四大编程模型、编程流程、简单的矩阵乘法示例。最后，本文介绍了模板匹配算法的基本原理，并基于oneAPI进行了编程实现。