tf.random_normal与tf.truncated_normal的区别

本文详细对比了TensorFlow中tf.random_normal与tf.truncated_normal两种随机数生成方式的差异,阐述了使用截断正态分布生成随机数如何避免神经网络训练中的饱和问题,尤其是在使用如sigmoid这样的激活函数时。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

tf.random_normal与tf.truncated_normal的区别

  1. 定义
    The generated values follow a normal distribution with specified mean and standard deviation, except that values whose magnitude is more than 2 standard deviations from the mean are dropped and re-picked.

  2. 与tf.random_normal的不同之处

tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)outputs random values from a normal distribution.
tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)outputs random values from a truncated normal distribution.

在这里插入图片描述

  1. 价值在于:
    The point for using truncated normal is to overcome saturation of tome functions like sigmoid (where if the value is too big/small, the neuron stops learning).
    即为了克服神经网络在利用某些激活函数学习时,例如sidmoid,会在值过大活过小时停止学习的缺点。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值