深度学习---之bias

reference：https://www.zhihu.com/question/68247574
 

 

实际上，bias相当于多了一个参数。在增加网络少量拟合能力的情况下，bias和其它普通权值相比无论前向还是后向，计算上都要简单，因为只需要一次加法。同时，bias与其它权值的区别在于，其对于输出的影响与输入无关，能够使网络的输出进行整体地调整，算是另一维自由度吧。放在二维上，权值相当于直线的斜率，而bias相当于截距，这二者都是直线参数的一部分，并没有必要区别对待。

因此，通常网络都会使用bias，但并不是必须，对于网络性能的影响并不是很显著（除非网络太小导致拟合能力太差）。同时，在有些场合里，bias的使用也没有意义，比如在batch normalization层之前的层就没必要加，因为会被归一化抵消掉。

简单考虑一个只有一输入一输出的简单网络：

假设用Sigmoid 激活函数，如果没有bias，则  

先看一下在不同W下的情况：

 

假如输入 的输入分布如图中蓝点（A集合）和红点（B集合）所示（在x轴上的分布），要通过 来判断输入时在A内还是B内，很显然，要提高准确性，sigmoid函数中的W系数需要学的很大，才能保证尽可能的判断准确。

但是如果一个测试样本在图中绿点所在的位置呢，很明显我们可以将绿点判为红点所在的B集合，但是通过训练学到的W是不能正确判断的。这个时候似乎让sigmoid函数变得更陡没法解决了。

但是如果加一个bias呢。

像这样，w（sigmoid中x的系数）不用学的很大就可以提高学习的准确率，网络就能够非常灵活的fit A,B 的分布，可以准确的判断绿点所属的集合。

简单点说，就是加上bias能更灵活的fit输入的分布。

转载：https://blog.youkuaiyun.com/zxrttcsdn/article/details/79845706