AutoGPTQ项目基础量化使用指南：从模型加载到推理全流程

AutoGPTQ项目基础量化使用指南：从模型加载到推理全流程

【免费下载链接】AutoGPTQ An easy-to-use LLMs quantization package with user-friendly apis, based on GPTQ algorithm. 项目地址: https://gitcode.com/gh_mirrors/au/AutoGPTQ

前言

在深度学习领域，模型量化是一种重要的模型压缩技术，它能够显著减少模型的内存占用和计算需求，同时保持模型的推理精度。AutoGPTQ是一个基于GPTQ算法的易用模型量化库，提供了用户友好的API接口。本文将详细介绍如何使用AutoGPTQ进行基础模型量化操作。

环境准备

在开始之前，确保你已经安装了必要的Python库：

• transformers
• auto-gptq

基础量化流程

1. 加载原始模型和分词器

首先需要加载待量化的原始模型及其对应的分词器：

from transformers import AutoTokenizer
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig

pretrained_model_dir = "facebook/opt-125m"
tokenizer = AutoTokenizer.from_pretrained(pretrained_model_dir, use_fast=True)

这里我们使用了OPT-125M模型作为示例，这是一个相对较小的语言模型，适合演示量化过程。

2. 准备量化配置

量化配置决定了模型如何被量化：

quantize_config = BaseQuantizeConfig(
    bits=4,        # 量化到4位
    group_size=128, # 推荐设置为128
    desc_act=False  # 设为False可显著加速推理但可能略微降低精度
)

关键参数说明：

• bits: 量化位数，4位是常见选择
• group_size: 分组大小，影响量化精度和效率
• desc_act: 是否使用描述符激活，关闭可提升速度

3. 准备量化样本

量化过程需要一些样本数据来校准量化参数：

examples = [
    tokenizer("auto-gptq is an easy-to-use model quantization library...")
]

样本应以字典列表形式提供，每个字典包含"input_ids"和"attention_mask"键。

4. 执行量化

加载原始模型并执行量化：

model = AutoGPTQForCausalLM.from_pretrained(pretrained_model_dir, quantize_config)
model.quantize(examples)

5. 保存量化模型

量化完成后，可以保存模型供后续使用：

quantized_model_dir = "opt-125m-4bit-128g"
model.save_quantized(quantized_model_dir)

也可以使用更安全的safetensors格式保存：

model.save_quantized(quantized_model_dir, use_safetensors=True)

量化模型的使用

1. 加载量化模型

model = AutoGPTQForCausalLM.from_quantized(quantized_model_dir, device="cuda:0")

2. 执行推理

有两种主要方式进行推理：

直接使用模型生成：

output = model.generate(**tokenizer("auto_gptq is", return_tensors="pt").to(model.device))
print(tokenizer.decode(output[0]))

使用pipeline方式：

from transformers import TextGenerationPipeline
pipeline = TextGenerationPipeline(model=model, tokenizer=tokenizer)
print(pipeline("auto-gptq is")[0]["generated_text"])

高级功能

模型共享

量化后的模型可以方便地上传到模型中心：

repo_id = "YourUserName/opt-125m-4bit-128g"
commit_message = "AutoGPTQ model for facebook/opt-125m: 4bits, gr128, desc_act=False"
model.push_to_hub(repo_id, commit_message=commit_message, use_auth_token=True)

也可以保存和上传同时进行：

model.push_to_hub(repo_id, save_dir=quantized_model_dir, 
                 use_safetensors=True, 
                 commit_message=commit_message, 
                 use_auth_token=True)

日志配置

建议配置日志以便跟踪量化过程：

import logging

logging.basicConfig(
    format="%(asctime)s %(levelname)s [%(name)s] %(message)s",
    level=logging.INFO,
    datefmt="%Y-%m-%d %H:%M:%S",
)

结语

通过AutoGPTQ，我们可以轻松实现大型语言模型的量化，显著减少资源消耗同时保持较好的推理性能。本文介绍了从模型加载、量化配置、执行量化到推理使用的完整流程，读者可以根据实际需求调整量化参数以获得最佳平衡。

【免费下载链接】AutoGPTQ An easy-to-use LLMs quantization package with user-friendly apis, based on GPTQ algorithm. 项目地址: https://gitcode.com/gh_mirrors/au/AutoGPTQ