DeepSpeed Mixture-of-Quantization (MoQ)

属于QAT (Quantization-Aware Training)的一种，训练阶段用量化。

特点是：

1. 从16-bit INT开始训练，逐渐减1bit，训练一些steps就减1bit，直至减至8bit INT；

2. （可选，不一定非用）多久减1bit，这个策略，使用模型参数的二阶特征来决定，每层独立的（同一时刻，每层的特征值们大小不一致，也就造成bit减少速度不一致，造成bit数目不同）；

参数：

quantizer_kernel：是否使用quantization kernel，默认不使用。我的理解是，量化版kernel目前还不是很ready。但是，如果不使用，那就要把模型参数再重新反量化为FP32/FP16，再计算？

quantize_type：对称量化，量化结果为signed int(-128~127)，就是float的0对应量化后int的0；非对称量化，量化结果为unsigned int(0~255)，就是float的0对应INT中的某个值（不一定是127、128）；

quantize_period: 首次训练这么多step，就减少1个bit；下次训练2*这么多step，减少1个bit；再下次训练4*这么多step，减少1个bit； 。。。注意：自己算好，训练结束时，得下降到8bit；

schedule_offset: 刚开始训练的这些steps，不进行量化；为了保持开头训练的效果稳定性；

quantize_groups：所有参数分成这么多组，每组根据组内统计，使用自己的量化scale；

例子：

{
	......

    "quantize_training": {
      "enabled": true,
      "quantize_verbose": true,
      "quantizer_kernel": true,
      "quantize_type": "symmetric",
      "quantize_bits": {
        "start_bits": 12,
        "targ