qq_51537863的博客

[错误用法记录] 参数初始化 使用参数初始化的时候一定要针对类型来初始化，不要一起直接初始化 for p in self.parameters(): if p.dim() == 1: p.data.zero_() 像这样不加判断的直接对所有的一维参数置0，会导致经过nn.LayerNorm后所有的数值全部置0。 因为nn.LayerNorm里面的elementwise_affine默认为True(即有可学习的参数)，进行归一化时的具体操作是 对应位置元素乘上这个参数再加上偏置b