Xavier Initialization 的理解与推导（及实现）

                       

在 caffe mnist tutorial 的实现中，有如下的语句：

weight_filter = {type: "xavier"};
  
1

随后的解释中指出，本实现将使用 xavier 算法通过输入和输出神经元的数目自动确定权值矩阵的初始化大小。

通过本文第三部分的推导，使用 xavier 初始化权值矩阵是为了保证输出和输入尽可能地服从相同的概率分布（注，数据预处理中已对将输入去均值）。

1. caffe 下的 xavier 实现

caffe 中，网络参数初始化通过从一个 0 均值和特定方差的分布（一般为正态分布或均匀分布）中获得：

Var(W)=1n in  ,stddev=1n in  − − −  √   Var(W)=1nin,stddev=1nin

references

An Explanation of Xavier Initialization

           

再分享一下我老师大神的人工智能教程吧。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到我们人工智能的队伍中来！https://blog.youkuaiyun.com/jiangjunshow