【论文学习笔记-1】XNOR-net

简介

文章中提出了两种二值化网络，分别是Binary-Weight-Networks和XNOR-Networks。

Binary-Weight-Networks对模型中的权重W进行二值化操作，即要么是1要么是-1。其中更新参数时依然采用原参数W进行更新。
XNOR-Networks通过对权重W和输入I都进行二值化操作，同时降低空间和实践复杂度。

二值化操作过程

传统的Conv层：I*W
其中I是输入，W是权重，*是卷积操作

Binary－weight－Network的二值化操作：（I*B）α
其中B为二值化的权重矩阵，α是一个实数。
二值化网络的过程就是找到合适的B和α。使得W≈αB，这里a默认为正数。
我们希望尺度参数α和二值矩阵B替代原来的权重，就希望W和αB的差距尽可能小，这里使用来描述两者的差距，设：$$J(B,\alpha )=||W－B,\alpha |{|}^2$$这里W和B看作向量，用的是向量的2范数的平方，则这里的α和B的取值则为J最小时对应的α和B的值，记为：
$${\alpha }^{\ast }，B^{\ast }=argminJ(B，\alpha )$$由于矩阵二范数符合分配律，得：
J ( B , α ) =