vllm量化04—INT8 W8A8

原创

已于 2025-05-20 09:57:11 修改 · 845 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#python #深度学习 #量化

于 2025-05-16 08:46:04 首次发布

本系列基于Qwen2.5-7B，学习如何使用vllm量化，并使用benchmark_serving.py、lm_eval 测试模型性能和评估模型准确度。
测试环境为：

OS: centos 7
GPU: nvidia l40
driver: 550.54.15
CUDA: 12.3
vllm: 0.9.0

本文是该系列第4篇——INT8 W8A8
llmcompressor 使用 GPTQ 逐通道量化权重为 8bits，并使用动态逐token将激活值量化为8bits.

一、量化

from transformers import AutoTokenizer, AutoModelForCausalLM
from datasets import load_dataset
from llmcompressor.transformers import oneshot
from llmcompressor.modifiers.quantization import GPTQModifier
from llmcompressor.modifiers.smoothquant import SmoothQuantModifier
from vllm import LLM

model_path = "./Qwen2.5-7B"
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", torch_dtype="auto", trust_remote_code=False)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=False