非常好,这正是很多人容易混淆的点:模型参数的“规模”经常用 **B(billion,十亿)** 作为单位,比如 “7B 模型”“70B 模型”——但这背后的逻辑,远不止数字大小。下面是一篇完整讲透

参数量B的真相:不只是数字大小

一、首先,B 是什么?

我们在 AI 圈经常看到这样的话:

GPT-3 是 175B 模型。
LLaMA2-7B 可以本地跑。
DeepSeek-R1 有 67B 版本。

这里的 B = Billion = 十亿(10⁹)个参数
每个参数本质上就是一个数,一个权重值(weight),通常是浮点数(float)。

如果你听到一个模型是 “7B”,那意味着它大约有 7 × 10⁹ ≈ 7,000,000,000 个这样的浮点权重。


二、参数量怎么换算成显存需求?

我们可以用一个简单的公式:

显存占用 ≈ 参数量 × 每个参数字节数 × 复制系数

一般来说:

精度类型 每参数字节 说明
FP32 4 bytes 训练时常用(高精度)
FP16 2 bytes 半精度推理
INT8 1 byte 量化后推理
INT4 0.5 byte 极限压缩量化

假设我们跑一个

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值