bit、byte、int、float、内存、显卡内存之如何根据title简单估算一个大语言模型参数存储到底需要多大显卡内存及内存

自用。nlp课后作业整理

存储单位：

bit（位）

binary digit（二进制数字）的缩写（其实就是简单合并写法），是计算机表示信息的最小单位，可以表示为0或1（二进制的两种状态），所有数据类型（byte，int，float等）均由多个bit组成。

32位系统，64位系统的位也是指这个bit，包括计算机处理器（CPU）一次性能够处理多大的数据（分别为32bit和64bit，即4byte和8byte），以及寻址能力和兼容性（寻址能力跟内存有关，不过不展开了）。

Byte（字节，B）

是计算机中储存和处理数据的基本单位之一。一个byte通常由8个bit组成（见fig 1，每个方格是一个bit，每个bit里面可以填入0或1，则共可以表示个不同的值，即从0-255）

fig 1 

1

0

1

1

0

0

1

1

1 B = 8 bit （ bit）

计算机内存