MicroMix: Efficient Mixed-Precision Quantization with Microscaling Formats for Large Language Models

文章主要内容总结

本文提出了一种名为MicroMix的混合精度量化框架，专门针对大型语言模型（LLMs）在NVIDIA Blackwell架构上的高效推理设计。该框架结合了基于微缩放（Microscaling, MX）数据格式的量化算法和矩阵乘法内核，通过灵活分配MXFP4、MXFP6、MXFP8精度通道，在保证模型精度的同时显著提升计算效率。

具体而言，MicroMix通过以下方式实现优化：

1. 引入量化阈值，识别低精度格式（MXFP4/MXFP6）下量化误差过大的激活元素，将其分配到更高精度通道（MXFP6/MXFP8）；
2. 设计融合重排序与量化的操作，解决不规则内存访问问题，降低额外开销；
3. 基于CUTLASS GEMM实现支持任意MX精度组合的内核，充分利用Blackwell架构的FP4张量核心。

实验表明，MicroMix在零样本/少样本学习、语言建模、代码生成等任务上性能优于现有方法，在RTX 5070Ti笔记本和RTX 5090 GPU上比TensorRT-FP8快20%以上，同时提升了预填充延迟和内存效率。

创新点

1. 自适应精度分配策略：针对不同层的激活分布差异，动态调整MXFP4、MXFP6、MXFP8的通道比例，而非固定高 precision通道数量，解决现有混合精度方法精度下降问题。
2. 量化阈值定义：首次为MXFP4和MXFP6格式定义明确的量化阈值，确保低精度格式的量化误差不超过INT8的误差上限，有效管理异常值。