偏执值的意义

本文深入探讨神经网络中偏置值(b)的作用,解释其如何衡量神经元激活的难易度,以及在早期神经网络与现代网络中的角色变化。

神经元的输出,在作用激励函数(也有称激活函数)之前,是权重和输出的点积,形如:
w·x+b的形式,wx可以理解,b代表什么意思?
最初的最简单神经网络,输入输出是线性变换,当权重和输出的点积大于某一个阈值的时候,输出1,否则输出0.如下
w·x>t------输出1
w·x<t------输出0
t衡量输出1的难易度。这个算式变换一下:
w·x-t>0----输出1
w·x-t<0----输出0
我们用b代替-t。这就是偏执值。所以b也是衡量激活难易的参数。这一方式貌似发展到有激活函数的神经网络后就用处不大,比如有的网络就取消了b参数简化运算。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值