Qwen3 对 4 位和 2 位量化的表现如何？

Qwen3 系列模型终于面世，表现果然不负众望！

尽管体积紧凑，这些模型在各项基准测试中表现优异。14B 和 32B 版本潜力十足，尤其适合消费级硬件设备。但最引人注目的当属 Qwen3-30B-A3B：这个 300 亿参数的模型在推理时仅激活 30 亿参数，其混合专家架构（MoE）设计使其极为轻量化——量化版本可轻松部署在 24GB 显存的 GPU 上，若搭配 GPTQ+Marlin 等 GPU 友好格式更能高效运行。

本文将深入探讨 Qwen3 模型的量化表现，简而言之结论令人惊喜：该系列对量化极其友好，即便是 2-bit 版本仍保持强劲性能。我将逐步解析量化流程，分享评估数据，并演示如何通过 vLLM 高效运行模型（包括开启/关闭推理模式两种场景）。

Qwen3：紧凑型混合推理模型

截至目前，我们关于 Qwen3 的信息来源仅有官方模型卡片和一篇博客文章，尽管文档资料有限，Qwen3 系列模型的表现已引发业界将其与 DeepSeek R1 等领先版本进行比较。本次发布包含六个经过指令微调的稠密模型及其基础版本和 FP8 版本，另有两款稀疏混合专家（MoE）模型——其架构与 DeepSeek 模型相似。所有模型均采用宽松的 Apache 许可证发布。