微软利用BitNet最终把1000亿参数人工智能模型塞进了智能手表

序言：斯坦福大学利用LoLCats技术将1000亿参数模型的训练成本降低到20美元；微软则通过BitNet技术进一步将模型量化，使其能在消费类电子产品中运行，例如个人电脑、手机、智能手表等嵌入式设备。人工智能就这样顺理成章的进入了大家的日常生活。

关联的文章：《斯坦福大学推出线性前沿LLM技术，训练模型成本仅为20美元》

大型语言模型（LLMs）已经彻底改变了人工智能的格局，但它们庞大的体积也带来了同样巨大的计算成本。如果我们能够在不牺牲性能的前提下，极大提升这些模型的效率，会怎么样呢？这正是研究人员通过BitNet b1.58所实现的，它开启了1位LLM的时代。

在Apple M2上运行BitNet b1.58 3B模型的bitnet.cpp演示

1位LLM的承诺

传统的LLM使用16位浮动小数（FP16）来存储其参数，这需要大量的内存和计算资源。而BitNet b1.58采取了一个激进的做法：它将每个参数减少到仅有三种可能的值：-1、0或1。这个简单的变化带来了显著的效率提升，且在保持模型准确性的同时，实现了高效的运算。

• 70B参数模型推理速度提升4.1倍

• 内存消耗减少至最多7.16倍

• 矩阵乘法