一、梯度爆炸/梯度消失
(一)在极端情况下,权重的值变得非常大,以至于溢出,导致NaN值。
(二)如何解决(深度神经网络(如RNN)当中更容易出现)
1、重新设计网络
2、调整学习率
3、使用梯度截断(在训练过程中检查和限制梯度的大小)
4、使用激活函数
二、tensorflow变量作用域(观察变量的name改变)
(一)tf.variable_scope(<scope_name>)创建指定名字的变量作用域
(二)嵌套使用变量作用域
trainable,学习率的调整,梯度爆炸
最新推荐文章于 2025-01-18 09:37:21 发布