LLM模型名称解读

参数规模编码：B、M与数字的含义

当我们看到模型名称中出现的数字和字母组合时，它们通常代表着模型的参数规模：

• B (Billion): 表示"十亿"，是大模型参数量的常用单位

  • 例如：DeepSeek 7B 表示这个模型有70亿参数
  • Llama 13B 表示有130亿参数
  • DeepSeek R1 671B 意味着这个模型拥有惊人的6710亿参数

• M (Million): 表示"百万"，通常用于较小规模的模型

  • 例如：T5-770M 表示这个模型有7.7亿参数

精度与数据类型编码

模型名称中还可能包含精度信息，这直接关系到模型的存储空间和计算效率：

• FP32: 32位浮点数，占用4个字节存储空间，计算精度最高但资源消耗也最大
• FP16: 16位浮点数，占用2个字节，是大多数大模型的默认精度
• INT8: 8位整数，占用1个字节，是常见的量化精度
• INT4: 4位整数，占用0.5个字节，是目前主流的高压缩量化精度

量化格式解析：以GGUF为例

GGUF (GPT-Generated Unified Format) 是一种流行的模型存储格式，特别是在Llama.cpp项目中广泛使用。在GGUF格式的模型名称中，我们可以看到如下编码：

• Qn: 表示量化精度，如Q4表示INT4，Q8表示INT8

  • 例如：Llama-2