离线量化算法和工具 --学习记录2

离线量化算法和工具 --学习记录1

二、离线量化的难点

1、校准数据有限

• 白天、黑夜
• RGB/红外等
• 模型不是自己训练的
• …

2、异常数据分布
weight 分布异常（特别大的weight）

3、优化空间有限

• 之前只能搜索量化参数
• 现在可以微调weight

4、优化粒度的选择

• Layer by layer?
• End to end?

一个小例子:
在tensor层面，什么样的分布不易于量化?
例如有1个tensor,a=[-1.2,1.3,4.4,-0.4,100],用minmax校准，并对它做对称量化
经计算: x =[-2.,2.,6.，-1.,127.]
xdg=[-1.5625,1.5625,4.6875,-0.7812,99.2188]