ONNX项目中的4位浮点数(Float4)格式详解

ONNX项目中的4位浮点数(Float4)格式详解

onnx Open standard for machine learning interoperability 项目地址: https://gitcode.com/gh_mirrors/onn/onnx

概述

在深度学习模型规模不断扩大的背景下，模型部署和计算成本成为重要挑战。ONNX项目从1.18.0版本开始引入了一种新型的4位浮点数格式(Float4)，旨在为大型语言模型等应用提供更高效的数据存储和计算方案。本文将深入解析这种特殊的数据格式。

Float4格式背景

4位浮点格式最初由开放计算项目(OCP)提出，作为解决大型模型部署难题的创新方案。ONNX项目采纳了这一标准，实现了对4位浮点数的支持，主要包含以下类型：

• FLOAT4E2M1：1位符号位、2位指数位和1位尾数位
• 不支持NaN(非数字)和无穷大(Infinity)表示

E2M1格式详解

基本结构

E2M1格式采用1-2-1的位分配方式：

• 符号位(S)：1位，表示数值正负
• 指数位(E)：2位，采用偏移码表示
• 尾数位(M)：1位，表示小数部分

数值表示规则

根据指数位的不同，数值计算分为两种情况：

1. 指数位非零时：

   数值 = (-1)^S × 2^(E-1) × (1 + M×2^-1)
   

2. 指数位为零时：

   数值 = (-1)^S × M×2^-1
   

可表示数值范围

下表展示了E2M1格式能表示的所有正数值(负值只需加上符号位)：

| 位模式(忽略符号位) | 对应数值 | |-------------------|---------| | 000 | 0 | | 001 | 0.5 | | 010 | 1 | | 011 | 1.5 | | 100 | 2 | | 101 | 3 | | 110 | 4 | | 111 | 6 |

从表中可以看出，E2M1格式能表示的数值范围是[-6, 6]，精度从0.5到1不等。

类型转换规则

向上转换(Upcasting)

将Float4转换为更高精度的浮点格式(如float32、float16等)时，转换是精确的，不会丢失信息。

向下转换(Downcasting)

将高精度浮点数转换为Float4时，遵循以下规则：

| 输入值(x) | 转换结果 | |-------------------|-------------------| | -6 ≤ x ≤ 6 | 最接近的E2M1值(四舍五入到偶数) | | x = ±0 | ±0 | | x > 6 | 6 | | x < -6 | -6 | | +Inf | 6 | | -Inf | -6 | | NaN | 6 |

数据打包与解包

由于单个Float4仅占用4位，ONNX采用特殊的打包存储方式：

1. 打包规则：

   • 每两个4位元素打包成一个字节
   • 第一个元素存储在低4位(LSB)
   • 第二个元素存储在高4位(MSB)
   • 打包公式：y << 4 | x & 0x0F

2. 解包规则：

   • 第一个元素：z & 0x0F
   • 第二个元素：z >> 4

3. 特殊情况处理：

   • 当元素总数为奇数时，会追加4位填充
   • 存储空间计算：对于N个元素的张量，需要ceil(N/2)字节

应用场景与限制

Float4格式主要应用于：

• 大型语言模型的权重存储
• 对内存带宽敏感的边缘计算场景
• 需要极致压缩率的模型部署

但需要注意以下限制：

• 数值范围和精度有限
• 不支持特殊浮点值(NaN/Inf)
• 计算时可能需要转换为更高精度

总结

ONNX引入的Float4格式为深度学习模型的轻量化部署提供了新的可能性。虽然其数值表示能力有限，但在特定场景下可以显著减少内存占用和带宽需求。开发者在使用时应当充分了解其特性和限制，合理评估是否适合自身应用场景。

onnx Open standard for machine learning interoperability 项目地址: https://gitcode.com/gh_mirrors/onn/onnx