GPT-2 模型量化前后推理性能对比：速度提升与输出一致性实测

原创已于 2025-05-16 11:58:56 修改 · 445 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#gpt

于 2025-05-16 11:52:11 首次发布

部署运行你感兴趣的模型镜像

本文基于 quant_compare.py 脚本，对比 GPT-2 小模型在量化前（FP32）和量化后（INT8）两种状态下的推理速度与输出结果是否一致，帮助你评估动态量化对部署性能的实际影响。

📊 对比目标

对比维度	内容说明
推理耗时	单次 `infer(prompt)` 所花时间
Top-1 输出	logits 的最大值所对应 token 是否一致
运行设备	本地 CPU
输出差异	是否引入语义偏移

1️⃣ 环境与模型路径配置

import time
from transformers import GPT2LMHeadModel, GPT2Tokenizer
import torch

model_fp32_path = "../python3_distillation/gpt2_student_v2"
model_int8_path = "./gpt2_student_v2_quantized"

2️⃣ 封装推理函数：FP32 模型

def infer_fp32(prompt):
    model = GPT2LMHeadModel.from_pretrained(model_fp32_path).eval()
    tokenizer = GPT2Tokenizer.from_pretrained(model_fp32_path)
    inputs = tokenizer(prompt, return_tensors="pt")

    start = time.time()
    with torch.no_grad():
        logits = model(**inputs).logits
    end = time.time()

    token_id = int(logits[0, -1].argmax())
    token = tokenizer.decode([token_id]).strip()
    elapsed_ms = (end - start) * 1000
    return token_id, token, elapsed_ms

3️⃣ 封装推理函数：INT8 模型

def infer_int8(prompt):
    model = GPT2LMHeadModel.from_pretrained(model_int8_path)
    state_dict = torch.load(f"{model_int8_path}/pytorch_model.bin")
    model.load_state_dict(state_dict)
    model.eval()

    tokenizer = GPT2Tokenizer.from_pretrained("../python3_distillation/gpt2_student_v2")
    inputs = tokenizer(prompt, return_tensors="pt")

    start = time.time()
    with torch.no_grad():
        logits = model(**inputs).logits
    end = time.time()

    token_id = int(logits[0, -1].argmax())
    token = tokenizer.decode([token_id]).strip()
    elapsed_ms = (end - start) * 1000
    return token_id, token, elapsed_ms

4️⃣ 对比测试样例

prompts = [
    "Hello world",
    "I love",
    "The sky is",
    "Artificial intelligence is",
    "GPT-2 is a"
]

for prompt in prompts:
    id_fp32, token_fp32, t1 = infer_fp32(prompt)
    id_int8, token_int8, t2 = infer_int8(prompt)

    print(f"\n📝 Prompt: {prompt}")
    print(f"🔹 FP32 输出: {token_fp32} ({t1:.2f} ms)")
    print(f"🔹 INT8 输出: {token_int8} ({t2:.2f} ms)")
    print("✅ 是否一致:", "✔️ 是" if id_fp32 == id_int8 else "❌ 否")
    print(f"⚡️ 加速比: {t1 / t2:.2f}x")

🧪 实测结果示例

Prompt	FP32 输出	FP32耗时	INT8输出	INT8耗时	是否一致	加速倍数
Hello world	!	82.45 ms	!	36.17 ms	✔️ 是	2.28x
I love	you	80.03 ms	you	34.69 ms	✔️ 是	2.31x
Artificial intelligence is	transforming	84.20 ms	transforming	37.28 ms	✔️ 是	2.26x