【阿里一面】大模型精度FP16/BF16/FP32选哪个？性能、内存、速度全考量！

AGI大模型老王

已于 2025-08-04 10:38:59 修改

阅读量575

点赞数 13

CC 4.0 BY-SA版权

文章标签：人工智能大数据开源产品经理深度学习 AI 大模型

于 2025-08-04 10:32:41 首次发布

本文链接：https://blog.youkuaiyun.com/2401_85390073/article/details/149900202

在网上很容易搜到几个精度的表示位，但是可能比较抽象，第一次看无法理解什么是指数位、尾数位，

其实这个标准来自于 IEEE754 的格式标准，如果做过浮点数十进制到二进制转换的人会了解。

大模型引来了很多非计算机专业的人才，并不一定所有人都了解这个表示方法，所以本文展开来解释一下，也为了加深自己的印象。

01.含义

（1）符号位

首先明确这里的精度是二进制，1 位符号位，就代表（-1）^0 或者（-1）^1 右上角的幂，所以 0 为正数，1 为负数。

（2）指数位

FP16 为例，指数 5 位，就代表由这五位表示一个幂次，二进制运算里底数当然为 2，也就是 2^x。

二进制里，五位最大为 11111（十进制 31），最小为 00000（十进制 0），这两个数并不能使用，在需要时用作 +∞/－∞/ 0，这样的特殊数值。

因此能用的指数位数范围为 00001（十进制 1）——11110（十进制 30）。

同样我们也需要负指数，1—30 都是正数，那么对 1—30 的范围进行平移，范围转化成 -14—15，指数偏移量为 15，（为什么叫指数偏移量，意思就是平移了多少，后面通过减去这个偏移量就可得到实际表示值）。

此时二进制 00001（十进制 1）代表了十进制 -14 的指数位，计算方式就是“显性指数位-指数偏移量=实际指数位”。

假设有个指数位为 00010（十进制 2），2-15（指数偏移）=-13，那么 00010 就代表指数 -13，也就是 2^-13。

（3）尾数位

FP16 为例，尾数位一共 10 位，十位尾数从左到右代表了 2^-1，2^-2，...，2^-10。

科学计数法默认包含了前置位 1，也就是不算符号位和指数位的情况下，表示的数一定为 1.xxxxx（xxxxx 部分为尾数位表示的小数 < 1）。

也就是所有可表示的数一定可以通过有限次数的 *2 或 /2 后，用一个 1.xxxxx 的小数表示。

这样就得到了表示的公式：

举例：3.14=2*1.57=2*（1+0.57）。

FP16 下，符号位为 0，指数位实际为 1，那么二进制表示为 10000（十进制 1+偏移 15），符号位为 1001000111 近似表示 0.57。

02.FP32、FP16、BF16 区别

理解了各位数的含义后，容易得出：

尾数位表示了精度范围，也就是小数点后多少位的精确程度；
指数位表示了数值范围，也就是数值的最大值和最小值之间的范围大小；

可见数值范围由指数位决定，8 位和 5 位区别巨大，而 FP32 也是 8 位指数位，但内存占差了两倍（32 位和 16 位）。

BF16 的优势显而易见，在牺牲精度的情况下，保证了数值范围和 FP32 位相近，且缩小了一半的内存占比，因此广泛运用于大模型训练中。

当然如果在特定任务中，需要高精度的训练，但不需要如此巨大的数值范围，就可以在 FP16 和 FP32 中选择。

这份完整版的大模型 AI 学习和面试资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

03.如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述