BitNet部署指南

众所不周知，微软最近推出了一个新模型：BitNet，其最大的特点是使用原生1-Bit训练……什么概念？

我们常用的Deepseek/Kimi/豆包等模型都是满血版（官网使用），例如Deepseek-R1-671b版本就是 Deepseek 满血版标准名称，但是671b这个如此庞大的数量（冷知识，1b或1B=10亿）不是所有电脑都是可以运行的，因此通常每个模型的发布，都会伴随着数个《蒸馏版》，也就是1.5b/7b/14b/210b等小于“满血版”的参数（对于Deepseek就是小于671b），具体视模型发布平台或官网技术文档所展示（例如Huggingface/Ollama）

既然蒸馏了，是不是就是字面意义上的“蒸馏”呢？

当然~

但是，正常的蒸馏是排除不需要（不能用，不能有）的东西，这个东西不应出现。

而模型的蒸馏，便是把“需要的“（或者说不要也行，有的话更好）排除，正常这个东西可以出现。

而蒸馏带来的最大问题便是：准确度

各位要知道，LLM（大语言模型）是不断预测自己该说什么。而一旦蒸馏了，模型自己就不确定自己该说什么（也就是原先训练知道自己该说什么，但是有一部分“记忆”丢失了，所以在面对一些问题会出现”我不到啊“的情况，这就是蒸馏的缺点）所以官网才会配备”满血版“，让人真切地体验到模型的能力。

回到主题，原生1-Bit训练什么概念呢？

许多模型是先训练，后蒸馏，效果很差

而BitNet是先蒸馏（熟悉-1,0,1的模式）后训练，效果很好

但是缺点明显：答非所问、中英文掺杂（具体可以自己试试）

那么好，接下来就说明如何部署

1-部署

停！！！！！

先看看自己的电脑支不支持FMA

可以使用CPU-Z，在处理器