INQ_量化幂次方-优快云博客

本文介绍了一种名为增量网络量化(INQ)的技术，该技术能够将32位浮点数权值量化为低精度权值（2的幂次或0），以优化乘法运算并减少模型在嵌入式设备上的存储大小。文章详细阐述了INQ的思想、算法流程及其实现细节。

- Incremental Network Quantization

Incremental Network Quantization

[paper]
[code]

思想

将32位浮点数的权值量化成低精度的权值（2的幂次或者0）
- 低精度是指相邻的两个权值之间还有多少个数。参考刻度尺的精度。
- 量化成2的幂次方之后一方面是作乘法的时候就变成移位操作，另一方面量化成低精度的权值可以通过编码来存储，从而减少模型在嵌入式设备的存储大小。

算法

先将预训练好的模型的权值进行分组，第一组是准备进行量化的，第二组是需要重新训练以弥补量化权值带来的精度损失。
将第一组进行量化，使第一组的权值量化成（2的幂次方或者0）
将量化之后的权值矩阵（包含量化后的第一组已经需要重新训练的第二组）重新训练，更新第二组的权值以此弥补第一组量化后带来的精度损失。
重复上述步骤直到所有权值都被量化。

结构图

fig1:第一个图中黑色是需要量化的，白色的是需要重新训练的，经过量化和重新训练之后的结果如第三个图所示，绿色的为量化后的结果，灰色的需要进行分组、量化和重新训练的操作。

具体实现

分组
- 原始权重模型 $\{ {W_l:1<=l<=L} \}$ ,其中， $l$ 代表第 $l$ 层,它是一个四维张量, $N*C*H*W$ , $N$ 代表 $l+1$ 层的通道数 $C$ 代表 $l$ 层的通道数， $H*W$ 代表卷积核的大小，如果是全链接层的话，则权重矩阵为二维的张量。
- 将原始权重矩阵分成 $A_l^{(1)}$ （即将量化）, $A_l^{(2)}$ (需要重新训练的) ， $A (1) l ⋃ A (2) l = {W l (i, j)}, A (1) l ⋂ A (2) l = \emptyset,$ $A_l^{(1)}\bigcup A_l^{(2)}=\{W_l(i,j)\},A_l^{(1)}\bigcap A_l^{(2)}=\emptyset {,}$ 为了进行分组，定义一个二值矩阵(为了更好的实现这个分组算法）,当 $W l (i, j) \in A (1) l, T l (i, j) = 0$ $W_l(i,j)\in A_l^{(1)},T_l(i,j)=0$ 同理， $W l (i, j) \in A (2) l, T l (i, j) = 1$ $W_l(i,j)\in A_l^{(2)},T_l(i,j)=1$
- 分组策略，采取修剪激励策略，即具有较大的绝对值的权值更重要，换句话说就是具有较大的绝对值的权值已经奠定了网络的整体精度的基础，较小绝对值的权值是在这个基础上进行修修补补，因此，可以将这些具有较大绝对值的权值划分到即将量化的权值矩阵中，具有较小的绝对值的权值划分到需要重新训练的矩阵中。具体实现要参考github上的代码。
- 量化
  - 最终目的是将 $W_l$ 量化成低精度的 $\widehat{W}_l$ ,其中， $\widehat{W}_l$ 的每个元素都来自 $P l = {\pm 2 n 1, \dots, \pm 2 n 2, 0}$ $P_l=\{\pm2^{n_1},\cdots ,\pm2^{n_2},0 \}$
  - 将第 $n$ 次分组好的权值矩阵表示为 $W_l^{(n)}=T_l*W_l^{(n-1)}$ ,然后量化的位宽 $b$ ,,这个位宽指的是编码存储权值的位长，实际上这个是指量化后的权值存放在嵌入式上所需要的位宽，并不是指跑完INQ网络后，原来的vgg_caffemodel为537.2M会变小，因为量化后权值在计算机的存储还是双精度浮点型，因此量化后的vgg_caffemodel还是537.2M。
  - 定好 $b$ 之后，需要计算 $n_1$ , $n 1 = f l o o r (l o g 2 (4 s / 3), s = m a x (a b s (W l))$ $n_1=floor(log_2(4s/3),s=max(abs(W_l))$ ,以此可以得到 $n_2=n_1+1-2^{(b-1)}/2$ 也就是说 $P_l$ 定下来了。
  - 对第i阶段分好组得权值矩阵进行量化 $W ˆ (n) l (i, j) = {β s g n (W (n) l (i, j)), 3 n + 1, if (α + β) / 2 \leq a b s (W (n) l (i, j) < 3 β / 2 otherwise$ $\widehat{W}_l^{(n)}(i,j)= \begin{cases} \beta sgn(W_l^{(n)}(i,j)), & \text {if $(\alpha+\beta)/2 \leq abs(W_l^{(n)}(i,j)<3\beta/2 $} \\ 3n+1, & \text{otherwise} \end{cases}$
    其中， $\alpha$ 和 $\beta$ 是 $P_l$ 排序之后相邻的两个元素。
- 重新训练
  - INQ重训练的目的是将由量化造成的损失降至最低值，用数学式子来表达就是：
    
    $min W l = L (W l) + λ R (W l)$ $\mathop{\min }\limits_{W_l}=L(W_l)+\lambda R(W_l)$
    
    $s . t . W l (i, j) \in P l, i f T l (i, j) = 0, 1 \leq l \leq L$ $s.t. \quad W_l(i,j)\in P_l, \; if \; T_l(i,j)=0,1\leq l \leq L$
  使用SGD算法更新权值可以表示如下：
  
  Wl(i,j)←Wl(i,j)−γdEdWl(i,j)Tl(i,j)
  
  前面提到当 $W_l(i,j)$ 需要量化的话 $T_l(i,j)=0$ ，否则 $T_l(i,j)=1$ ,因此从上面的式子可以知道权重更新只更新需要重新训练的权值。

整体算法

输入：训练数据 $X$ ，预训练模型 $\{ W_l:1\leq l \leq L\}$ ,量化权值占的累计比重 $\sigma_n$ 。
输出：量化后的权值矩阵 $\{\widehat{W_l}:1\leq l\leq L\}$ ， $\widehat{W_l}$ 中每个数值都为2的幂次方或者0。

1.初始化 $A_l^{(1)} \leftarrow \emptyset$ ， $A_l^{(2)} \leftarrow \{W_l(i,j)\}$ ， $T_l \leftarrow 1$ ，for $1\leq l \leq L$ 。

2. $for \; n=1,2,\cdots ,N$

i.设置base learning rate 和 learning policy。

ii.根据 $\sigma_n$ 设定需要量化权值的比例更新 $A_l^{(1)}$ ， $A_l^{(2)}$ 以及 $T_l$ 。

iii.由 $A_l^{(1)}$ 和给定的位宽 $b$ 得到相应的 $P_l$ 。

iv. 量化 $A_l^{(1)}$ 。

v. 计算feed-forward loss ,更新 $A_l^{(2)}$ 。