第7章：模型量化与压缩

在私有化部署 DeepSeek 大模型时，资源限制（尤其是 GPU 显存和算力）往往是核心挑战。模型量化和模型压缩技术应运而生，它们旨在减小模型大小、降低显存占用并加速推理，同时尽可能保持模型性能。本章将深入探讨几种主流的模型量化与压缩技术，并结合 DeepSeek 模型的特性，提供实操建议，并介绍 MoE 模型在私有化部署中的独特优势。

AWQ/GPTQ 量化原理与实操

量化是将模型权重从高精度（如 FP32 或 FP16）转换为低精度（如 INT8 或 INT4）的过程。这可以显著减少模型大小和显存占用。其中，AWQ 和 GPTQ 是目前针对大语言模型（LLM）最有效的离线量化（Post-Training Quantization, PTQ）方法。

1. GPTQ 量化原理

GPTQ (Generative Pre-trained Transformer Quantization) 是一种一次性（one-shot）离线量化方法，它在很小的数据集上对每个权重矩阵进行量化，并通过最小化量化误差来优化量化后的权重。

• 核心思想：

  GPTQ 关注