以向量加法为例，包含三个文件：kernel.h,kernel.cu,test.cppkernel.h:

CUDA线程可以在运行过程中从多中内存空间访问数据，分为三个层次：1，局部内存：每一个线程有其私有的局部内存。2，共享内存：每一个线程块（thread block）有一个共享内存，可以被该线程块中的所有线程访问。3，全局内存：所有的线程都能访问。此外还有两个能被所有线程都访问的只读内存空间：constant 和texture内存空间，如下图所示：

主函数在main.cpp中，用g++编译，cuda函数放在KernelWrapper.cu中，用nvcc编译。另外main.cpp中需要包含头文件KernelWrapper.hKernelWrapper.h#ifndef _KernelWrapper_h#define _KernelWrapper_hvoid RunTest();#endifKernelWrapper.cu

先概括一下深度学习的几大流行的框架：Pylearn2, Theano, Caffe, Torch, Cuda-covnet，Deeplarning4j等。Theano是一个Python库，也是一个强大的数学表达式编译器。Pylearn2是在Theano基础上建立的机器学习库。用户可以用数学表达式写Pylearn2的插件(新的model, algorithm等), Theano将这些表达式进行优化和稳定化，然后进行编译。