GPU概念：Thread, Block, Grid, Warp, SP, SM

• Stream（流）
    流是一系列顺序执行的命令，流之间相对无序或并发的执行他们的命令。

• Streaming Processor(SP)
    最基本的处理单元， 具体的指令和任务都是在SP上处理的。GPU进行并行计算，也就是很多个SP同时做处理。现在SP的术语已经有点弱化了，而是直接使用thread来代替。一个SP对应一个thread。

• Streaming Multiprocessor(SM)
    多个sp加上其他的一些资源组成一个SM。其他资源包括存储资源，共享内存，寄储器等。一个SM中的所有SP是先分成warp，共享同一个memory和instruction unit。
    每个SM通过使用两个特殊函数(Special Function Unit,SFU)单元进行超越函数和属性插值函数（根据顶点属性来对像素进行插值）计算。SFU用来执行超越函数、插值以及其他特殊运算。

• Warp
    warp是SM调度和执行的基础概念，同时warp实际上是一个和硬件相关的概念，通常一个SM中的SP(thread)会分成几个warp(SP在SM中是进行物理上的分组)，每一个wrap中在Tegra中是32个thread。这个wrap中的32个thread(SP)是一起工作的，执行相同的指令，如果没有这么多thread需要工作，那么这个wrap中的一些thread(SP)是不工作的。
    P.S. 每一个线程都有自己的寄存器内存和local memory，一个warp中的线程是同时执行的，也就是当进行并行计算时，线程数尽量为32的倍数，如果线程数不上32的倍数的话；假如是1，则warp会生成一个掩码，当一个指令控制器对一个warp单位的线程发送指令时，32个线程中只有一个线程在真正执行，其他31个 进程会进入静默状态。

• Grid、Block与Thread
    在利用CU