通过 GTPQ 量化 Llama 2 实现电脑端快速推理

QLoRa 技术能在消费级硬件上运行大语言模型(LLM)，但 QLoRa 主要是为了加快微调速度并降低成本而提出的。如果你的模型已经完成微调，它并非推理阶段的最佳选择。这种情况下，GPTQ 才是更合适的选择。

GPTQ 简介

GPTQ（Frantar 等人，2023 年）是专为 LLMs 设计的量化算法。你可以将其视为压缩 LLMs 的一种方法。

Llama 2 的 70 亿参数版本原始大小为 13.5GB。经过 GPTQ 的 4 位量化后，其体积降至 3.6GB，即原大小的 26.7%。

若不进行量化处理，普通消费级硬件根本无法加载 70 亿参数的 LLM。即便仅使用 CPU 运行，仍需至少 32GB 内存——这远超大多数标准电脑的配置，甚至无法在 Google Colab Pro 实例中运行。

但经过量化后，我们就能在多数机器上加载该模型，且模型性能（困惑度）不会出现显著下降。

不过话说回来，量化前难道不需要先将模型加载到内存中吗？

不，我们不需要。GPTQ 是一种非常巧妙（且复杂）的算法。它无需加载整个模型，而是在层级上处理模型，因此不需要将整个模型都加载到内存中。

GPTQ 专为无需进一步训练/微调的 LLM 设计，因此非常适合已在指令数据集上完成微调的对话模型。