初始化权重-优快云博客

除了标准正态分布（即使用np.random.randn或类似函数）来初始化神经网络的权重外，还有其他多种初始化权重的方式。这些方式的选择通常取决于网络的具体架构、激活函数以及希望避免的问题（如梯度消失或梯度爆炸）。以下是一些常见的权重初始化方法：

全零初始化（Zero Initialization）：
将权重初始化为零。然而，这种方法通常不被推荐，因为它会导致所有神经元在训练过程中都计算相同的输出，从而无法学习不同的特征。
小随机数初始化：
使用非常小的随机数（接近0但非零）来初始化权重。这可以通过调整随机数的范围来实现，例如使用均匀分布np.random.uniform(-scale, scale)，其中scale是一个很小的正数。这种方法比全零初始化更有可能使网络学习到不同的特征。
Xavier/Glorot 初始化：
这是一种根据输入和输出单元的数量自动调整权重的方差以保持输入和输出的方差一致的初始化方法。它适用于Sigmoid和Tanh等激活函数。Xavier初始化的权重通常是从均匀分布或正态分布中抽取的，但分布的参数会根据前一层和当前层的神经元数量来调整。
He 初始化（也称为Kaiming 初始化）：
这是为ReLU及其变体作为激活函数的网络设计的初始化方法。与Xavier初始化类似，它也考虑了前一层的大小来缩放初始化权重，但取值范围更宽。He初始化通常使用正态分布来实现。
正交初始化（Orthogonal Initialization）：
这种方法将权重矩阵初始化为正交矩阵，以保持信息的传递并减少梯度消失或爆炸的问题。正交初始化特别适用于深层网络和循环神经网络（RNN）。
稀疏初始化（Sparse Initialization）：
通过在权重矩阵中引入稀疏性来减少参数的数量，这有助于减少模型的复杂度并提高泛化能力。稀疏初始化通常涉及将大多数权重初始化为零，而将少数权重初始化为随机值。
单位矩阵初始化（Identity Matrix Initialization）：
将权重矩阵初始化为单位矩阵。这种方法在某些特定情况下（如线性网络）可能有助于模型的收敛。
预训练模型初始化：
对于某些情况下，可以使用在大型数据集上预训练好的模型权重来初始化目标任务的模型。这可以加快收敛并提高性能。
自适应初始化：
一些深度学习框架提供了自适应初始化方法，它们根据网络层的激活函数和参数来选择适当的初始化策略。例如，PyTorch中的nn.init模块提供了多种初始化函数，如kaiming_normal_（He初始化）和xavier_normal_（Xavier初始化）等。