MX+: Pushing the Limits of Microscaling Formats for Efficient Large Language Model Serving

论文核心总结与翻译

一、主要内容

论文聚焦大语言模型（LLM）高效部署中的低精度数据格式优化，针对现有微缩放（MX）格式在4位量化时因异常值导致性能下降的问题，提出MX+扩展格式。通过复用异常值（块最大值BM）的指数位作为额外尾数位，MX+在不增加显著存储和延迟开销的前提下，大幅提升了低精度量化的模型性能。文章还验证了MX+在软件（基于Triton、CUTLASS框架）和硬件（GPU Tensor Core扩展）上的无缝集成方案，证明其在多种LLM及视觉模型上的有效性。

二、创新点

1. 提出MX+格式：非侵入式扩展MX格式，利用块最大值（BM）无需存储自身指数的特性，将指数位转为额外尾数位，提升异常值表示精度。
2. 高效软硬件集成：软件层面可通过现有框架轻微修改实现，硬件层面仅需在Tensor Core添加少量组件，无需改动核心运算流水线。
3. 扩展变体MX++：通过预留位解耦BM与非BM元素的共享缩放因子，进一步优化非异常值的量化精度。
4. 广泛适用性：支持MXFP4/6/8等多种MX变体，可迁移至NVFP4等相似格式，同时适用于LLM、视觉Transformer和CNN等多种模型。

---

三、关键部分翻译（Markdown格式）

Abstract

低精度数据格式对于大语言模型（LLM）的高性价比部署至关重要。尽管迄今为止已推出多种低精度格式，但它们往往需要对软件框架进行侵入式