張行之的专栏

最近看了一些关于CUDA方面的资料，并粗略地浏览了两本关于CUDA和GPGPU的书（《GPGPU编程技术：从GLSL、CUDA到OpenCL》和《CUDA并行程序设计：GPU编程指南》），对于CUDA目前本人也是处于正在入门的阶段。在此汇编CUDA的学习资料，方便以后的学习。关于GPGPU所谓GPGPU，就是把强大的图形处理器应用于日益复杂的计算工作。

CUDA并行程序设计系列是本人在学习CUDA时整理的资料，内容大都来源于对《CUDA并行程序设计：GPU编程指南》、《GPU高性能编程CUDA实战》和CUDA Toolkit Documentation的整理。通过本系列整体介绍CUDA并行程序设计。内容包括GPU简介、CUDA简介、环境搭建、线程模型、内存、原子操作、同步、流和多GPU架构等。本文对CUDA进行简单介绍，并通过实例代码演示怎么编写在GPU上运行的代码

摘要: CUDA并行程序设计系列是本人在学习CUDA时整理的资料，内容大都来源于对《CUDA并行程序设计：GPU编程指南》、《GPU高性能编程CUDA实战》和CUDA Toolkit Documentation的整理。通过本系列整体介绍CUDA并行程序设计。内容包括GPU简介、CUDA简介、环境搭建、线程模型、内存、原子操作、同步、流和多GPU架构等。本文对GPU技术进行简单介绍。

【CUDA并行程序设计系列（4）】CUDA内存前言CUDA并行程序设计系列是本人在学习CUDA时整理的资料，内容大都来源于对《CUDA并行程序设计：GPU编程指南》、《GPU高性能编程CUDA实战》和CUDA Toolkit Documentation的整理。通过本系列整体介绍CUDA并行程序设计。内容包括GPU简介、CUDA简介、环境搭建、线程模型、内存、原子操作、同步、流和多GPU架构等。

本文讲述了两种使用Python编写CUDA程序使用的方式，包括Numba和PyCUDA，并对比分析了这两种方法。

矩阵乘法非常适合在GPU上并行运行，但是使用GPU并行后能获得多大的性能提升？本文将通过一些实验分析CUDA程序的性能。本文主要记录了本人测试CUDA程序性能的结果，并对结果进行了分析，从测试结果和分析可以为并行程序和优化性能带来一些启示。

本文首先简要介绍了卷积运算，然后使用Python实现了卷积运行的代码，接着讨论了基于FFT的快速卷积算法，并使用Python实现了FFT卷积，接着对直接卷积和基于FFT的快速卷积算法的性能进行了分析，从实验结果可以看出，FFT卷积相比直接卷积具有更快的运行速度。最后，基于CUDA实现了直接卷积算法，并且使用cuFFT和thrush在CUDA平台实现了基于FFT的快速卷积算法。

CUDA并行算法系列之规约前言规约是一类并行算法，对传入的N个数据，使用一个二元的符合结合律的操作符⊕，生成1个结果。这类操作包括取最小、取最大、求和、平方和、逻辑与/或、向量点积。规约也是其他高级算法中重要的基础算法。除非操作符⊕的求解代价极高，否则规约倾向于带宽受限型任务（bandwidthbound）。本文将介绍几种规约算法的实现，从两遍规约、block的线程数必须为2的幂，一步一步优化。

前言CUDA并行程序设计系列是本人在学习CUDA时整理的资料，内容大都来源于对《CUDA并行程序设计：GPU编程指南》、《GPU高性能编程CUDA实战》和CUDA Toolkit Documentation的整理。通过本系列整体介绍CUDA并行程序设计。内容包括GPU简介、CUDA简介、环境搭建、线程模型、内存、原子操作、同步、流和多GPU架构等。本系列目录：【CUDA并行程序设计系