【CNN训练梯度裁剪】

• 梯度裁剪

  • 参考

    • 梯度剪裁
    • PyTorch使用Tricks：梯度裁剪-防止梯度爆炸
    • 【Pytorch】梯度裁剪——torch.nn.utils.clip_grad_norm_的原理及计算过程

  • 方法

    梯度裁剪（Gradient Clipping）是一种防止梯度爆炸或梯度消失的优化技术，它可以在反向传播过程中对梯度进行缩放或截断，使其保持在一个合理的范围内。梯度裁剪有两种常见的方法：

    1. 按照梯度的绝对值进行裁剪，即如果梯度的绝对值超过了一个阈值，就将其设置为该阈值的符号乘以该阈值。
    2. 按照梯度的范数进行裁剪，即如果梯度的范数超过了一个阈值，就将其按比例缩小，使其范数等于该阈值。例如，如果阈值为1，那么梯度的范数就是1。

  • pytorch实现

    import torch