xavier initialization 公式推导及理解

文章的前提是 sⁱ = zⁱWⁱ + bⁱ 和 zⁱ⁺¹=f(sⁱ) 这两个式子

对于文中的公式2，根据上面的关系，可以知道求cost对sⁱ的导数首先需要求得cost对zⁱ⁺¹的导数，而对zⁱ⁺¹的导数可以先求得cost对sⁱ⁺¹的导数，求得之后乘以sⁱ⁺¹对zⁱ⁺¹的导数，也就是Wⁱ⁺¹，再乘以zⁱ⁺¹对sⁱ的导数，也就是f’(sⁱ)，得到最终结果。
而对于文中的公式3，cost对Wⁱ的导数也就是cost对sⁱ的导数乘以sⁱ对Wⁱ的导数，也就是zⁱ。
综上得到文中的第一个重要关系。

公式4和5较难，需要理解推导的前提。
首先在这里假设了输入A和参数W这两个变量独立。则有：Var(sⁱ) = Var(zⁱWⁱ+bⁱ)=Var(zⁱWⁱ) = [E(zⁱ)]²Var(Wⁱ) + [E(Wⁱ)]²Var(zⁱ) + Var(zⁱ)Var(Wⁱ).
其次假设了A和W都满足一个均值为0的分布，即 E(zⁱ) = E(Wⁱ) = 0，那么上式就变成了 Var(sⁱ) = Var(zⁱ)Var(Wⁱ)，对于第一层 Var(zⁱ) = Var(x)，x为data。而 zⁱ⁺¹=f(sⁱ)，其中的激活函数f会对方差产生影响，所以这里有一个关键假设，就是f’(0) = 1，并且只考虑线性区，那么在这个区间有 f(x)≈x，激活函数对输入的方差的影响可以忽略，因此有:Var(zⁱ⁺¹)≈Var(sⁱ)，由此得到公式4和5.

由上面的推到很容易得到6和7，其中7中有一个Var(zⁱ)是需要用公式5中求得的公式进行替换的。注意这两个公式和4，5两个公式的i的增长方向和区间。

公式8 和9 就是 让输入和输出 的 var 相等，但是得到的condition在每层的width不一样的时候无法同时满足，于是有了公式12.