QuIP 项目使用教程

QuIP# 项目使用教程

quip-sharp 项目地址: https://gitcode.com/gh_mirrors/qu/quip-sharp

1. 项目介绍

QuIP#（Quantized Incoherence Processing with Hadamard and Lattice Codebooks）是一个用于大型语言模型（LLM）的权重仅后训练量化方法。它通过引入随机Hadamard变换（RHT）进行更快速和更好的不一致性处理，以及使用$E_8$格基码本进行快速向量量化，实现了在极端压缩（每权重$\le 4$比特）情况下的最先进性能。QuIP#还包含一个微调方案，以捕捉层间交互。

该项目的主要特点包括：

• 使用随机Hadamard变换（RHT）进行快速不一致性处理。
• 使用$E_8$格基码本进行快速向量量化。
• 提供CUDA内核以实现快速推理。
• 支持自定义模型的量化和部署。

2. 项目快速启动

2.1 克隆项目

首先，克隆QuIP#项目的代码库到本地：

git clone https://github.com/Cornell-RelaxML/quip-sharp.git
cd quip-sharp

2.2 安装依赖

安装项目所需的Python依赖包：

pip install -r requirements.txt

2.3 构建和安装CUDA内核

构建并安装CUDA推理内核：

cd quiptools
python setup.py install
cd ../

2.4 安装fast-hadamard-transform包

安装fast-hadamard-transform包：

pip install fast-hadamard-transform

2.5 量化示例

以下是一个量化Llama模型的示例脚本：

# 进入量化脚本目录
cd quantize_llama

# 运行量化脚本
python quantize_finetune_llama.py --ft_epochs 0 --save_path output_path --base_model full_precision_hf_model

3. 应用案例和最佳实践

3.1 量化非Llama架构模型

QuIP#不仅限于Llama架构，还可以应用于其他包含线性层的架构。用户需要识别相关线性层并更新quantize_llama目录中的脚本。

3.2 评估量化模型

使用eval目录中的脚本评估量化模型的性能：

cd eval
python eval_ppl.py

3.3 快速推理和文本生成

QuIP#支持快速推理，示例推理内核可以在quiptools目录中找到。用户可以使用eval/interactive_gen.py脚本进行交互式文本生成。

4. 典型生态项目

4.1 Hugging Face Transformers

QuIP#与Hugging Face Transformers库兼容，用户可以使用Hugging Face提供的预量化模型进行快速推理和文本生成。

4.2 vLLM

QuIP#可以与vLLM集成，用户报告了成功将QuIP#与vLLM结合使用的案例，以实现更高效的推理和生成。

4.3 CUDA Graphs

QuIP#支持CUDA图，这使得推理过程更加高效。用户可以通过CUDA图优化推理性能。

通过以上步骤，用户可以快速上手并使用QuIP#项目进行模型量化和推理。

quip-sharp 项目地址: https://gitcode.com/gh_mirrors/qu/quip-sharp