roctang2006的专栏

 6.1 More on Thread Execution warp的概念 warp是如何组织的：按x,y,z逐渐增大的方式来线性化多维方式组织的线程，然后从前往后，每32个线程为一个warp The hardware executes an instruction for all threads in the same warp before moving to th

 4.1 CUDA  Thread Organization 具体例子：一个grid中有N个block，但是以一维的形式组织起来。每一个block中有M个线程，也以一维的形式组织起来。则任何一个block中的线程可以号可以用公式 threadID = blockIdx.x *blockDim.x +threadIdx.x来计算。 两个变量：gridDim和blockDim, g

3.1 data parallelism   数据可并行化处理是应用GPU计算的核心。矩阵相乘是简单的数据可并行化的例子，更多的应用中体现出更复杂的数据并行化。 3.2 CUDA program structure grid  -- 每一个kernel调用时，所生成的所有threads，统称为一个grid，可以认为grid是threads的一个组织单位。 3.3 a

 主要意图是：global memory太慢（几百个时钟周期），带宽太小。我们编程时，应该努力少用global memory，而更多使用shared memory和constant memory等快速memory  5.1 Importance of Memory Access Efficiency CGMA 刻画做一次浮点运算需要做几次global memory访问，此值

如果两个GPU卡都不接显示器，则要注意把GPU卡的驱动手动加载，具体可参阅下面的shell程序。 From the releasenotes:----------------------------------------Linux----------------------------------------* In order to run CUDA appli