增刊第5章：模型性能优化

第5章：模型性能优化

完成DeepSeek大模型的部署和基本运维后，下一步就是对其进行性能优化。在大模型推理场景下，性能优化主要关注两个核心指标：推理速度（Latency）和吞吐量（Throughput）。本章将详细介绍几种关键的优化技术，帮助您在现有硬件条件下，榨干模型的每一滴性能。

5.1 量化策略进阶 (INT4/INT8)

在第2章中我们简要介绍了量化，这里我们将深入探讨量化策略。**量化（Quantization）**是一种通过降低模型权重和/或激活值的数值精度来减小模型大小和加速推理的技术。从浮点数（FP16/FP32）到整数（INT8/INT4），每降低一位精度，都能显著减少内存占用和计算量。

5.1.1 什么是量化以及为什么需要它？

• 定义：量化是将模型的权重和/或激活值从高精度浮点数（如FP32或FP16）转换为低精度表示（如INT8或INT4）的过程。
• 目的：
  • 减少模型大小