torch.nn.init.xavier_uniform_是一个服从均匀分布的Glorot初始化器，表达式为：
U
=
(
−
a
,
a
)
\mathcal{U} = (-a, a)
U=(−a,a)
其中，
a
=
gain
×
6
fan_in
+
fan_out
a = \text{gain} \times \sqrt{\frac{6}{\text{fan\_in} + \text{fan\_out}}}
a=gain×fan_in+fan_out6
参见：
Glorot, X. & Bengio, Y. (2010). Understanding the difficulty of training deep feedforward neural networks.
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
