qq_40765166的博客

一，CUDA二维矩阵相加代码32乘32二维矩阵相加，用一个block，32*32大小的thread。#include "cuda_runtime.h"#include "device_launch_parameters.h"#include <stdio.h>#include <math.h>#include <stdlib.h>#include <time.h>using namespace std;#define N 32__gl

一，关于编程模型首先要了解什么是异构架构计算：即GPU和CPU协同工作，CPU端称为主机端用host表示，GPU端称为设备端用device表示。GPU和CPU连接一般协议是PCI-E，最新的协议有NVme，延迟更小。程序执行流程主要分为五个大的部分：在host端分配内存，进行数据初始化。在device端分配内存，将数据从host拷贝到device。用CUDA核函数在device端完成指定的运算。将运算结果从device端拷贝回host端。将host和device上之前分配的内存释放掉。

以Fermi GPU为例：左侧是一个粗略的GPU架构图，可以看到GPU由“显存”和“计算单元”组成，有以下几个部分：DRAM：Dynamic Random Access Memory，即GPU的显存，容量较大，速度慢，CPU和GPU都可以访问。DRAM相当于CPU的RAM，里面存放的数据断电就没有了。SM：streaming multiprocessor，即计算单元，一个GPU有多个SM。CPU可以使多核的，比如四核八核，而GPU的核心就特别多，一个SM里面包含多个核心（core）。