梯度修剪主要避免训练梯度爆炸和消失问题
tf.train.XXXOptimizer
apply_gradients
和compute_gradients
是所有的优化器都有的方法。
compute_gradients
compute_gradients(
loss,
var_list=None,
gate_gradients=GATE_OP,
aggregation_method=None,
colocate_gradients_with_ops=False,
grad_loss=None
)
计算loss
中可训练的var_list
中的梯度。
相当于minimize()
的第一步,返回(gradient, variable)
对的list。
Args:
loss:
A Tensor containing the value to minimize or a callable taking no arguments which returns the value to minimize. When eager execution is enabled it must be a callable.