基于Python的自然语言处理系列（51）：Weight Quantization

会飞的Anthony

于 2024-11-02 06:30:00 发布

阅读量709

点赞数 24

分类专栏：信息系统自然语言处理人工智能文章标签：深度学习自然语言处理人工智能 python

本文链接：https://blog.youkuaiyun.com/ljd939952281/article/details/143345484

版权

浮点数的设计允许表示范围广泛的数值，同时保持一定的精度。浮点数表示的基本公式为：

在深度学习中，常见的浮点数格式有：float32（FP32）、float16（FP16）和bfloat16（BF16）。每种格式的具体特性如下：

格式	总位数	符号位	指数位数	尾数位数	精度	计算成本
FP32