MSRA初始化和Xavier初始化权值

神经网络权值初始化方法

1. 引言

   神经网络权值的初始化对于网络训练速度以及收敛性有很大影响，因此我们需要合适的方法。传统的初始化的方法是使用固定标准差的高斯分布，在caffe中使用的是经典的Xavier初始化方法，当然直接进行预训练也是初始化的一种好的方法，一个好的初始化可以有助于收敛到一个优秀的局部最优解，且收敛速度快。但这些方法在ReLU系列以及网络层数较深时，这样的初始化无法得到很好的结果。何凯明大佬提出了MSRA初始化。MSRA初始化可以说是专门为ReLU系列激活函数特意设计的。具体可参考文章《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》

2. Xavier初始化
   可以参考这两篇文章，这两位讲的很详细
   (1).https://blog.youkuaiyun.com/weixin_35479108/article/details/90694800
   (2).深度前馈网络与Xavier初始化原理 - 夕小瑶的文章 - 知乎
   https://zhuanlan.zhihu.com/p/27919794

3. MSRA初始化
   可以参考这两篇文章，这两位讲的很详细
   (1).Delving Deep into Rectifiers - fountain-k的文章 - 知乎
   https://zhuanlan.zhihu.com/p/103825243
   (2).https://blog.youkuaiyun.com/happynear/article/details/45440811
   同时这种初始化方法通过前向传递初始化或者反向传递初始化都是可以的