32、深度神经网络训练技巧与优化策略

深度神经网络训练技巧与优化策略

1. 梯度裁剪（Gradient Clipping）

在深度神经网络训练中，梯度爆炸是一个常见的问题。梯度裁剪是一种流行的技术，用于缓解梯度爆炸问题。其核心思想是在反向传播过程中对梯度进行裁剪，确保其不超过某个阈值。

1.1 实现方法

在Keras中，实现梯度裁剪非常简单，只需在创建优化器时设置 clipvalue 或 clipnorm 参数。示例代码如下：

optimizer = keras.optimizers.SGD(clipvalue=1.0)
model.compile(loss="mse", optimizer=optimizer)

上述代码中，优化器会将梯度向量的每个分量裁剪到 -1.0 到 1.0 之间。这意味着损失函数关于每个可训练参数的所有偏导数都会被裁剪到这个范围内。阈值是一个可以调整的超参数。

1.2 裁剪方式

• 按值裁剪（clipvalue） ：可能会改变梯度向量的方向。例如，原始梯度向量为 [0.9, 100.0] ，裁剪后变为 [0.9, 1.0] ，方向发生了变化。
• 按范数裁剪（clipnorm） ：如果梯度的 ℓ2 范数大于所选阈值，则会对整个梯度进行裁剪，同时保留其方向。例如，设置 clipnorm=1.0