[京哥读论文]之From Hashing to CNNs: Training Binary Weight Networks via Hashing

Abstract

本文在二值化权重(BWN)方面做出了创新，发表在AAAI2018上，作者是自动化所程建团队。本文的主要贡献是提出了一个新的训练BWN的方法，揭示了哈希与BW(Binary Weights)之间的关联，表明训练BWN的方法在本质上可以当做一个哈希问题。基于这个方法，本文还提出了一种交替更新的方法来有效的学习hash codes而不是直接学习Weights。在小数据和大数据集上表现的比之前的方法要好。

主要贡献

• 本文揭示了保持内积哈希与BWN之间的紧密关联。
• 为了减轻用哈希方法所带来的loss，本文将binary codes乘以了一个scaling factor并用交替优化的策略来更新binary codes以及factor。
• 在Cifar10,Cifar100以及ImageNet上实验，本文提出的BWNH方法比之前方法要好。

Inner-product preserving hashing

保留内积哈希方法是沈老师团队在15年ICCV上提出的，方法是给定两个点集$X\in {\mathbb{R}}^{S\times M}$和$W\in {\mathbb{R}}^{S\times N}$， $X_i\in {\mathbb{R}}^{S\times 1}$以及$W_i\in {\mathbb{R}}^{S\times 1}$分别代表向量$X$和$W$的第$i$个点，记作向量$X$和$W$的内积相似性(inner-product similarity)为$S\in {\mathbb{R}}^{M\times N}$。则目标函数变为:
$$min\Vert S-h(X{)}^{T}g(W){\Vert }_F^2(1)$$
$h(\cdot )$与$g(\cdot )$表示的是向量$X$和$W$的哈希函数。

哈希与BWN之间的关联

假设有一个L层pre-trained CNN model，$X\in {\mathbb{R}}^{S\times M}$是第$L$层的input feature map.记作第$L$层的权重的真实值为$W\in {\mathbb{R}}^{S\times N}$，目标是得到二进制的weighs B∈{ −1,+1}S×NB\in \{-1,+1\}^{S\times N}B∈{ −1,+1}S×N,天真的想法可能就是直接优化二者的差:
minL(B)=∥W−B∥F2s.t.  B∈{ +1,−1}S×N(2)min \quad L(B)=\Vert W-B\Vert^2_F \quad s.t.\;B\in\{+1,-1\}^{S\times N} \quad (2)minL(B)=∥W−B∥F2​s.t.B∈{ +1,−1}