70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length

主要内容

1. 研究背景：大语言模型（LLMs）规模迅速增长，给在资源受限硬件上的高效部署带来挑战。现有有损压缩技术（如量化）会降低模型输出质量，无损压缩技术在GPU推理效率方面存在不足。
2. 动机：探究无损压缩LLMs是否值得研究，对比DFloat11与有损量化技术，发现有损量化在某些任务中会导致模型性能下降，而DFloat11可提供与原始模型完全相同的性能，同时节省内存。
3. 方法：提出Dynamic-Length Float（DFloat11）无损压缩框架。基于BFloat16格式存储LLM权重时指数部分信息效率低的特点，利用熵编码对指数进行压缩，同时保留符号位和尾数部分。设计了包含分解查找表、双相内核和变压器块级解压缩的GPU内核，以实现高效推理。
4. 实验：对多种LLMs进行实验，结果表明DFloat11可将模型压缩至原大小的70%，且保证精度无损。在推理效率上，DFloat11优于CPU卸载方式，能支持更长的上下文长度。消融实验验证了其在大批次处理时解压缩开销可被分摊，且解压缩速度比CPU - GPU传输和ANS解压缩更快。
5. 相关工作：对比分析了多种模型权重数据格式和无损模型压缩方法，指出现有方法的局限性，凸显DFloat11在GPU推理方面的优势。

创新点

1. 提出新的数据格式：DFloat11数据格式可将LLMs的BFloat16权重无损压