为了详细说明模型的参数数量和每个参数在显存中占用的空间大小,我们以
facebook OPT-6.7B
模型为例。
逐步推理计算过程:
1.
估计参数总量:
OPT-6.7B
模型指一个含有大约
6.7 Billion
(
67
亿)个参数的模型。
2.
计算单个参数的显存占用:
OPT-6.7B
模型默认使用
Float16
,每个参数占用
16
位(即