初始化在神经网络中扮演关键角色，主要是为了保持二阶矩稳定，避免模型训练时模长发生剧烈变化。Lecun提出从N(0,1/fan_in)分布采样，Xavier则建议使用N(0,2/(fan_in+fan_out))，适用于全连接层。对于含ReLU激活函数的情况，Heckaiming推荐N(0,2/fan_in)或N(0,2/fan_out)。PyTorch的TransformerEncoder采用了类似Xavier的策略。
快速总结一下，初始化的目的其实是为了二阶矩（也就是模长）不发生大变化：
- Lecun: 从N(0,1/fan_in)从采样
- Xavier: 从N(0,2/(fan_in+fan_out))中采样，pytorch的TransformerEncoder用的是这个，但其实TransformerEncoder不同于纯nn，在HF的TransformerEncoder用多用的normalize初始化，且把方差设置的低一些为了照顾残差链接，这部分可以参考 浅谈Transformer的初始化、参数化与标准化
- He kaiming: 针对Relu,N(0,2/fan_in)或者N(0,2/fan_out)中都行
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
