量化入门

变成128个负数，一个0,127个正数（用补码的规则）

非结构化的剪枝（比如只是把某些值置为0），在gpu上并不会有性能的提升

数值的选择性减少了，网络的表达能力可能会有比较大的下降
量化精度和范围之间的权衡
均匀or非均匀量化
反转的问题：
梯度不匹配
比如求出来的h已经不能用4bit表示
得到输出值后要重新用P来重新量化一遍
而P和Q都是阶梯函数，在大量位置的梯度都是0，所以对P,Q求梯度得到的都是0无法顺利优化
解决方法：

forward的时候在用阶梯函数做量化，而在backward的时候并不做量化，STE，都视为1，网络可以训练的动，还要做一个clip
带来的问题是训练不稳定由梯度不匹配导致：从上面红框中的公式可以发现，实际上是在认为量化前和量化后的参数（激活值ÿ