Explicit Loss-Error-Aware Quantization

本文提出了使用全精度网络而非量化网络的误差更新权重的方法，以及对INQ的改进。

一般的量化网络，在训练时都会使用量化网络或混合网络(部分网络被量化)的误差来更新权重。本文则另辟蹊径，使用全精度网络的误差来更新权重。不仅取得了较好的结果，还避免了梯度的不匹配问题。

其损失函数为：

第一项是全精度网络的误差，第二项是全精度网络和量化网络的差异，第三项是量化权重和全精度权重的期望差。a1和a2是两个正的超参数。

作者定义Lp如下：




这样式5的后两项形式就统一了。