GPGPU基本概念

1、标量计算

        数据定义：标量即为单个数据；
        计算模式：MMA指令形式（D = A * B + C），A、B、C、D均为标量；
        数据类型：INT、INT32、FP32、FP32；
        计算单元：cuda core。

2、向量计算

        数据定义：可理解为一维数组；
        计算模式：MMA指令形式（D = A * B + C），A、B、C、D均为向量；
        数据类型：INT、INT32、FP32、FP32；
        计算单元：cuda core。

3、矩阵计算

        数据定义：可理解为二维数组；
        计算模式：MMA指令形式（D = A * B + C），A、B、C、D均为矩阵；
        数据类型：INT、INT32、FP32、FP32；
        计算单元：cuda core。

4、张量计算

        数据定义：可理解为多维数组；
        计算模式：MMA指令形式（D = A * B + C），A、B、C、D均为向量；
        数据类型：INT、INT32、FP32、FP32；
        计算单元：tensor core，执