TensorFlow2.0:张量限幅

最新推荐文章于 2023-02-04 19:59:56 发布

原创

最新推荐文章于 2023-02-04 19:59:56 发布 · 388 阅读

1 ·

CC 4.0 BY-SA版权

本文详细介绍了TensorFlow2.0中用于张量限幅的几个关键函数，包括tf.clip_by_value()用于设置张量的上下界，tf.nn.relu()函数的应用，以及tf.clip_by_norm()和tf.clip_by_global_norm()根据范数进行裁剪的原理和作用，旨在防止梯度爆炸和梯度消失问题。

一 tf.clip_by_value( )函数

tf.maximum(a,b)返回a和b之间的最大值
tf.minimum(a,b)返回a和b之间的最小值
tf.clip_by_value(t, clip_value_min, clip_value_max, name=None)限制tensor t中张量的最小值为clip_value_min,张量的最大值为clip_value_max

In [25]: a = tf.range(9)                                                                                                                                                                                    

In [26]: a                                                                                                                                                                                                  
Out[26]: <tf.Tensor: id=53, shape=(9,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8], dtype=int32)>

In [27]: tf.maximum(a,2)#返回a和2之间的最大值,本质是限制a的最小值为2                                                                                                                                        
Ou