BitNet 开源项目教程

BitNet 开源项目教程

BitNet Official inference framework for 1-bit LLMs 项目地址: https://gitcode.com/gh_mirrors/bitne/BitNet

1. 项目介绍

BitNet 是一个官方推出的用于1-bit LLMs（例如 BitNet b1.58）推理的框架。它提供了一套优化内核，支持在CPU上快速且无损地推理1.58-bit模型（NPU和GPU支持即将到来）。BitNet的第一个版本旨在支持CPU上的推理，它在ARM CPU上实现了1.37倍到5.07倍的速度提升，并且对于大型模型，性能提升更为显著。此外，它还能减少55.4%到70.0%的能耗，进一步提高整体效率。在x86 CPU上，速度提升范围从2.37倍到6.17倍，能耗降低介于71.9%到82.2%之间。BitNet还能够在一个CPU上运行100B BitNet b1.58模型，达到每秒5-7个标记的阅读速度，显著增强了在本地设备上运行LLMs的潜力。

2. 项目快速启动

环境要求

• Python >= 3.9
• CMake >= 3.22
• Clang >= 18

对于Windows用户，需要安装Visual Studio 2022，并确保以下选项被选中（这也会自动安装像CMake这样的所需附加工具）：

• 桌面开发与C++
• C++的CMake工具
• Windows的Git
• C++的Clang编译器
• LLVM-Toolset (clang)的MS-Build支持

对于Debian/Ubuntu用户，可以使用自动安装脚本：

bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"

克隆仓库

git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet

安装依赖

# (推荐) 创建一个新的conda环境
conda create -n bitnet-cpp python=3.9
conda activate bitnet-cpp
pip install -r requirements.txt

构建项目

下载模型从Hugging Face，将其转换为量化gguf格式，并构建项目：

python setup_env.py --hf-repo tiiuae/Falcon3-7B-Instruct-1.58bit -q i2_s

或者，您可以手动下载模型，并使用本地路径运行：

huggingface-cli download tiiuae/Falcon3-7B-Instruct-1.58bit --local-dir models/Falcon3-7B-Instruct-1.58bit
python setup_env.py -md models/Falcon3-7B-Instruct-1.58bit -q i2_s

运行推理

python run_inference.py -m models/Falcon3-7B-Instruct-1.58bit/ggml-model-i2_s.gguf -p "你是一个 helpful assistant" -cnv

3. 应用案例和最佳实践

• 案例一：在服务器上部署BitNet，为Web服务提供快速的文本生成能力。
• 案例二：在边缘设备上使用BitNet，为移动应用或物联网设备提供本地化的自然语言处理能力。

最佳实践：

• 在部署前，确保模型已经在目标设备上进行了充分的测试。
• 根据应用场景，合理选择量化类型和模型大小。

4. 典型生态项目

• T-MAC：BitNet的内核构建在T-MAC的查找表方法之上，用于一般低比特位LLM的推理。
• llama.cpp：BitNet项目基于llama.cpp框架，为1-bit LLMs提供推理支持。

BitNet Official inference framework for 1-bit LLMs 项目地址: https://gitcode.com/gh_mirrors/bitne/BitNet