BitNet 项目使用与配置指南

BitNet 项目使用与配置指南

BitNet Official inference framework for 1-bit LLMs 项目地址: https://gitcode.com/gh_mirrors/bitne/BitNet

1. 项目目录结构及介绍

BitNet 是一个为 1-bit LLMs（例如 BitNet b1.58）设计的官方推理框架。项目目录结构如下：

BitNet/
├── 3rdparty/             # 第三方依赖库
├── assets/              # 资源文件
├── docs/                # 文档
├── include/             # 头文件
├── media/               # 媒体文件
├── preset_kernels/      # 预设的内核文件
├── src/                 # 源代码
├── utils/               # 工具类
├── .gitignore           # Git 忽略文件
├── .gitmodules          # Git 子模块
├── CMakeLists.txt       # CMake 配置文件
├── CODE_OF_CONDUCT.md   # 行为准则
├── LICENSE              # 许可证文件
├── README.md            # 项目说明文件
├── SECURITY.md          # 安全策略
├── requirements.txt     # 项目依赖
└── run_inference.py     # 推理运行脚本

• 3rdparty/: 包含项目依赖的第三方库。
• assets/: 存放项目资源文件，如图像、视频等。
• docs/: 存放项目文档。
• include/: 包含项目的头文件。
• media/: 存放媒体文件，如演示视频等。
• preset_kernels/: 包含预设的内核文件。
• src/: 包含项目的源代码。
• utils/: 包含项目的工具类。
• .gitignore: 指定 Git 忽略的文件。
• .gitmodules: 指定 Git 子模块。
• CMakeLists.txt: CMake 的项目配置文件，用于构建项目。
• CODE_OF_CONDUCT.md: 项目行为准则。
• LICENSE: 项目许可证。
• README.md: 项目说明文件，介绍项目的基本信息。
• SECURITY.md: 项目安全策略。
• requirements.txt: 项目依赖列表。
• run_inference.py: 推理运行脚本，用于执行模型推理。

2. 项目的启动文件介绍

项目的启动主要通过 run_inference.py 脚本。该脚本用于执行模型的推理操作。使用方法如下：

python run_inference.py -m models/Falcon3-7B-Instruct-1.58bit/ggml-model-i2_s.gguf -p "你是一个AI助理" -cnv

• -m: 指定模型文件路径。
• -p: 指定要生成文本的提示。
• -cnv: 启用聊天模式，适用于指导模型。

3. 项目的配置文件介绍

项目的配置主要通过 setup_env.py 脚本。该脚本用于设置运行环境，包括安装依赖、下载模型等。使用方法如下：

python setup_env.py --hf-repo tiiuae/Falcon3-7B-Instruct-1.58bit -q i2_s

• --hf-repo: 指定 Hugging Face 上的模型仓库。
• -q: 指定量化类型。
• -md: 指定模型保存/加载的目录。
• -ld: 指定日志保存的目录。
• -p: 启用预调优的内核参数。

BitNet Official inference framework for 1-bit LLMs 项目地址: https://gitcode.com/gh_mirrors/bitne/BitNet