CUDA C 编程权威指南 第一章 基于CUDA的异构并行计算

CUDA(Compute Unified Device Architecture, 统一计算设备架构）是NVIDIA提出的并行计算架构，主要用来处理密集型及并行计算。

GPU和CPU是两个独立的处理器，通过单个计算节点中的PCI- Express总线相连，GPU用来提高计算密集型应用程序中并行程序段的执行速度，CPU则负责管理设备端的资源。

一、并行计算

并行计算通常涉及两个不同的计算机技术领域。

计算机架构（硬件方面）

并行程序设计（软件方面）

早期的计算机中，一个芯片上只有一个CPU（中央处理单元），这种结构被称为单核处理器。现在，芯片设计的趋势是将多个核心集成到一个单一的处理器上，以在体系结构级别支持并行性，这种形式通常被称为多核处理器。因此，并行程序设计可以看作是将一个问题的计算分配给可用的核心以实现并行的过程。 

1.串行编程和并行编程

2.并行性

在应用程序中有两种基本的并行类型。

· 任务并行

· 数据并行

当许多任务或函数可以独立地、大规模地并行执行时，这就是任务并行。任务并行的重点是利用多核系统对任务进行分配。

当同时处理许多数据时，这就是数据并行。数据并行的重点在于利用多核系统对数据进行分配。

CUDA编程非常适合解决数据并行计算的问题。