Tensorflow（三十二） —— 梯度爆炸

最新推荐文章于 2024-09-15 18:10:00 发布

CyrusMay

最新推荐文章于 2024-09-15 18:10:00 发布

阅读量349

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习（神经网络）专题文章标签： python 深度学习 tensorflow 算法人工智能

本文链接：https://blog.youkuaiyun.com/Cyrus_May/article/details/124214593

深度学习（神经网络）专题专栏收录该内容

46 篇文章

订阅专栏

本文介绍了如何在TensorFlow中通过梯度裁剪技术来避免梯度爆炸问题，通过实例演示了如何在训练过程中应用clip_by_norm函数，并结合实际课程进行讲解。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Tensorflow（三十二） —— 梯度爆炸

解决方案

解决方案

import tensorflow as tf
from tensorflow import keras

# solve gradient exploding
with tf.GradientTape() as tape:
    logits = model(x)
    loss = tf.losses.categorical_crossentropy(y,logits,from_logits=True)
grads = tape.gradient(loss,model.trainable_variables)
grads = [tf.clip_by_norm(g,15) for g in grads]

optimizer.apply_gradients(zip(grads,model.trainable_variables))