tf.clip_by_global_norm()

tf.clip_by_global_norm()函数解析
本文详细解析了TensorFlow中tf.clip_by_global_norm()函数的原理与使用方法,该函数通过比较向量的L2范数与设定阈值,实现对向量元素的裁剪,防止梯度爆炸。通过实例演示了如何设置clip_norm参数,以控制向量的L2范数。

tf.clip_by_global_norm()

L2范数是指向量各元素的平方和然后求平方根
此函数将x的L2范数与clip_norm比较如果比clip_norm大则对x进行处理使x的L2范数小于等于clip_norm
参数:

tf.clip_by_global_norm(
    t_list,
    clip_norm,
    use_norm=None,
    name=None
)

使用案例:

import tensorflow as tf

x = [1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, 8.0]
r = tf.clip_by_global_norm(x, 15)
sess = tf.Session()
print(sess.run(r)) #([1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, 8.0], 14.282857)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值