使用 ExLlamaV2 在 GPU 上运行 Llama 3 70B

 Llama 3 70B 是目前最优秀的 LLMs 之一。根据 Chatbot Arena 等公开排行榜显示，Llama 3 70B 优于 GPT-3.5 和部分版本的 GPT-4。然而这个拥有 700 亿参数的模型体积非常庞大，运行 Llama 3 70B 推理会消耗大量 GPU 显存。若要在 GPU 上实现快速推理，我们需要配备 2 块 80GB 显存的 GPU——这远非普通配置能承受，但我们可以大幅降低这些要求。

将模型移至 CPU 内存并使用专为 CPU 推理优化的框架（如 Neural Speed）是一个颇具吸引力的替代方案。不过 CPU 的处理速度不及 GPU，尤其在批量解码任务中更为明显。

本文我将展示如何利用 ExLlamaV2 和 24GB 显存的 GPU，对 Llama 3 70B 模型进行混合精度量化。ExLlamaV2 的量化方法在保留重要权重精度的同时，会对其余权重进行激进量化。我以平均每权重 4 位、3.5 位、3 位、2.5 位和 2.18 位的精度对 Llama 3 70B 进行了量化，并对结果模型进行了基准测试。我们将看到，当每权重精度低于 2.5 位时，模型体积将小到足以在 24GB 显存的 GPU 上运行。