计算量估计

现有卷积层输出[B,W,H,C]

结论

与传统BN比较

在train阶段，若不采用采样和L1norm，量化BN只占传统BN计算复杂度的35.7%，减少了64.3%
若采用了采样和L1norm，量化BN占传统BN的15%，减少了85%。

在test阶段，量化BN没有任何计算量，比传统BN绝对减少了$2\ast 32\ast B\ast W\ast H\ast C$。

与BNN bn比较

在train阶段，若不采用采用和L1norm，量化BN占BNN bn计算复杂度的61%，减少了40%
若采用了采样和L1norm，量化BN占BNN bn计算复杂度的26%左右，减少了74%。
在test阶段，量化bn比BNN BN减少了$2\ast 32\ast B\ast W\ast H\ast C$

与WAGE bn比较

在train阶段，若不采用采样和L1norm，量化bn是WAGE bn的2.5倍。
若采用了采样和L1norm，量化bn与WAGEbn 基本一致。

在test阶段， 量化bn比wage BN减少了$32\ast B\ast W\ast H\ast C$

传统BN

训练阶段

在训练前向传播阶段，通过传统的BN层计算公式如下：
$$y=\gamma \frac{x-\mu }{\sqrt{{\sigma }_B^2+ϵ}}+\beta$$
$${\sigma }_B^2=\frac{\sum (x_i-\mu {)}^2}{n}$$
现逐个分析各个参量所应用的bit数。
对x来说，作为卷积层的输出，其所需bit数$K_x$与上层的Activation bit数$K_a$，卷积层参数W的bit数$K_w$，参与运算数目n相关。以resnet 第一个卷积层为例，卷积核大小7*7，上层通道数为3. 假设$K_w$<=8, 则A * W所需bit数$K_{aw}>=K_w$。7 * 7 * 3 个$K_{aw}$所需bit数为$K_{conv}>=$