yiran103的专栏

cuBLAS我们这里所说的最初是作为8位浮点数据类型（FP8）随 Ada 和 Hopper GPU（计算能力8.9及以上）引入的，旨在进一步加速矩阵乘法。：除非另有说明，FP8 指的是和两种数据类型。随着 Blackwell GPU（计算能力10.0及以上）的推出，cuBLAS 增加了对4位浮点数据类型 (FP4)的支持。E2和 M1分别表示2位指数和1位尾数。更多详细信息，请参阅。为了保持精度，窄精度数据在计算前需要进行缩放或反量化，并在计算后可能需要进行量化。