GPU并行运算与CUDA编程--基础篇

1.GPU与CPU

CPU：
1、为了尽量降低获取数据的延迟
2、更多的资源去控制逻辑
GPU：
1、为了做更多的高通量的并行计算
2、更多的资源去做计算

CPU有更大的缓存，能够一次性访问更多的数据，而GPU中计算单元占据着主导，通过高通量的数据吞吐，并行运算，达到甚至超越CPU的计算能力。

从上图可以看到CPU中每个线程相比之下等待数据的时间更少，而GPU通过多个线程的并行运行，从另一方面提高了计算速度。

2.GPU程序一般步骤

1.在GPU端分配内存空间
2.CPU传输数据给GPU

3.GPU做运算

4.GPU把计算结果传输回CPU

3.一个简单的GPU程序示例

#include <stdio.h>
#include "device_launch_parameters.h"
#include "cuda_runtime.h"

__global__ void HelloFromGPU