Xavier Initialization 的理解与推导（及实现）

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.youkuaiyun.com/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

                       

在 caffe mnist tutorial 的实现中，有如下的语句：

weight_filter = {type: "xavier"};
  
1

随后的解释中指出，本实现将使用 xavier 算法通过输入和输出神经元的数目自动确定权值矩阵的初始化大小。

通过本文第三部分的推导，使用 xavier 初始化权值矩阵是为了保证输出和输入尽可能地服从相同的概率分布（注，数据预处理中已对将输入去均值）。

1. caffe 下的 xavier 实现

caffe 中，网络参数初始化通过从一个 0 均值和特定方差的分布（一般为正态分布或均匀分布）中获得：

Var(W)=1nin,stddev=1√nin

Var(W)=1n in  ,stddev=1n in  − − −  √  

references

An Explanation of Xavier Initialization

           

给我老师的人工智能教程打call！http://blog.youkuaiyun.com/jiangjunshow