英文名 | 缩写 | 中文名 |
---|---|---|
float64 | FP64 | 双精度浮点数 |
float32 | FP32 | 单精度浮点数 |
float16 | FP16 | 半精度浮点数 |
bfloat16 | BF16 | 半精度浮点数 |
总结
1.可以看出。FP32和BF16的指数位相同,这通常意味着FP32和BF16能够表示的范围是及其相似的,但受限于BF16的尾数是FP32的三分之一,精确度也会降低不少
1.FP16和BF16都是16位,但BF16的指数为更多,表示的范围更大,不容易爆显存,FP16精确度更高
英文名 | 缩写 | 中文名 |
---|---|---|
float64 | FP64 | 双精度浮点数 |
float32 | FP32 | 单精度浮点数 |
float16 | FP16 | 半精度浮点数 |
bfloat16 | BF16 | 半精度浮点数 |
1.可以看出。FP32和BF16的指数位相同,这通常意味着FP32和BF16能够表示的范围是及其相似的,但受限于BF16的尾数是FP32的三分之一,精确度也会降低不少
1.FP16和BF16都是16位,但BF16的指数为更多,表示的范围更大,不容易爆显存,FP16精确度更高