大模型显存占用计算

为了详细说明模型的参数数量和每个参数在显存中占用的空间大小，我们以 facebook OPT-6.7B 模型为例。

逐步推理计算过程：

1. 估计参数总量： OPT-6.7B 模型指一个含有大约 6.7 Billion （ 67 亿）个参数的模型。

2. 计算单个参数的显存占用： OPT-6.7B 模型默认使用 Float16 ，每个参数占用 16 位（即