transformer实现模型量化

模型量化技术

量化（Quantization）技术专注于用较少的信息表示数据，同时尽量不损失太多准确性。
具体来说，量化会将模型参数使用的数据类型，转换为更少位数表示，并尽可能达到相同信息的效果。

同时，较低的精度还可以加快推理速度，因为使用较少位进行计算所需要的时间更短。

eg:模型权重原始以32位浮点数存储（Float32）

• 如果将他们量化为16位浮点数，则可以将模型大小减半。换句话说，仅需要一半的GPU显存即可加载量化后的模型；
• 如果将模型量化为8位整数，则大约需要四分之一的显存开销；
• 如果将模型量化为4位数据类型Normal Float 4，则几乎需要八分之一的显存开销；

1、GPTQ

GPTQ：Accurate Post-Training Quantization for Generative Pre-trained Transformers是一个高效、准确的量化技术，特别适用于大规模GPT模型，能够在显著降低模型大小和计算需求的同时，保持高准确和推理速度。GPTQ算法具有以下特点：

• 专为GPT模型设计：GPTQ针对大模型GPT模型进行优化，解决了这类模型因规模庞大导致的高计算和存储成本问题；
• 一次性权重量化方法&#