【二值化网络】Back to Simplicity: 思考BNN网络的设计

Paper: https://arxiv.org/abs/1906.08637
开源代码：https://github.com/hpi-xnor/BMXNet-v2

2019年6月19的一篇新paper。BNN用于降低成本和计算量，非常有效。作者重新思考了BNN中一些常用技术的有效性，并且为BNN网络提出了几项设计准则，并且搭建了一个BinaryDenseNet网络。

主要是通过实验数据去说明一些设计方法是否有效。可以作为应用的一个借鉴。

---

Introduction

在移动端执行CNN加速，主要有两种方式。

第一种：通过网络设计亚索网络信息，比如mobilenet和shufflenet等

第二种：做量化，减少每个数据表示时需要的精度。二值化会掉点，前期很多工作关注于通过一些tricks等减少量化误差。

但是，作者认为前期很少思考过这样一个问题“Are those real-valued network architectures
seamlessly suitable for BNNs？”

作者得出的结论是“most of these techniques are not necessary to reach state-of-the-art performance.”

主要contributions如下：

1. 认为通过标准策略就可以训练出标准BNN，重新思考了如缩放因子，自定义渐变和微调全精度模型的有效性。认为