大模型量化技术 第二章 基础量化算法 —— 统计与映射

基础量化算法与特化数据格式（NF4/INT8）实现指南

1. 概述

本代码库实现了深度学习模型量化中的核心算法，涵盖了从传统的均匀仿射量化（INT8）到大模型时代特有的非线性分块量化（NF4）。文档旨在通过数学公式推导与代码逻辑对照，解释量化如何平衡“压缩率”与“精度损失”。

---

2. 线性量化模块 (LinearQuantizer)

2.1 核心公式与推导

线性量化的目标是将浮点张量 $r$ 映射到整数张量 $q$。

• 非对称量化 (Asymmetric):

  

  其中