奔跑的蜗牛的博客

1P=1024T 1T=1024G 1G=1024M 1M=1024K 这里的TFLOPS就是每秒运算能力为1T＝10的12次方。TFlops/s，可以简单写为T/s， 是数据流量的计数单位，意思是”1万亿次浮点指令每秒”，它是衡量一个电脑计算能力的标准。在某些情况下，还使用 TOPS/W 来作为评价处理器运算能力的一个性能指标，TOPS/W 用于度量在1W功耗的情况下，处理器能进行多少万亿次操作。一个 TFLOPS (teraFLOPS) 等于每秒1万亿 (=10^12) 次的浮点运算，

INT8，八位整型占用1个字节，INT8是一种定点计算方式，代表整数运算，一般是由浮点运算量化而来。因此，虽然INT8比FP16精度低，但是数据量小、能耗低，计算速度相对更快，更符合端侧运算的特点；在数据表示范围上，FP32和FP16 表示的整数范围是一样的，小数部分表示不一样，存在舍入误差；FP32 是单精度浮点数，用8bit 表示指数，23bit 表示小数，占用4字节；FP16半精度浮点数，用5bit 表示指数，10bit 表示小数，占用2字节；最高位代表符号位（0 - 正，1 - 负）

对于浮点计算来说，CPU可以同时支持不同精度的浮点运算，但在GPU里针对单精度和双精度就需要各自独立的计算单元，一般在GPU里支持单精度运算的单精度ALU(算术逻辑单元)称之为FP32 core，而把用作双精度运算的双精度ALU称之为DP unit或者FP64 core。单精度的浮点数中采用4个字节也就是32位二进制来表达一个数字，1位符号，8位指数，23位小数，有效位数为7位。双精度浮点数采用8个字节也就是64位二进制来表达一个数字，1位符号，11位指数，52位小数，有效位数为16位。