该专栏为热销专栏榜 第64名
超级会员免费看
本文介绍了BP（反向传播）神经网络算法，强调了sigmoid激活函数在神经网络中的作用，讨论了sigmoid函数的特性以及在误差反向传播过程中的饱和性问题。通过三层神经网络的示例，阐述了BP算法的三步传播过程，并指出sigmoid求导后的形式与高斯分布的相似性。
sigmoid函数:
x的值可能为[−∞,+∞],为了方便处理，需要将其压缩到一个合理的范围，还需
这样的激励函数，能够将刚才的区间压缩到[0,1]。
sigmoid 是使用范围最广的一类激活函数，具有指数函数形状，它在物理意义上最为接近生物神经元。此外，(0, 1) 的输出还可以被表示作概率，或用于输入的归一化，代表性的如Sigmoid交叉熵损失函数。
然而，sigmoid也有其自身的缺陷，最明显的就是饱和性。
BP算法就是所谓的反向传播算法，它将误差进行反向传播，从而获取更高的学习效率。这很像烽火台，如果前线战败了，那么消息就通过烽火台传递回指挥部，指挥部去反思问题，最终改变策略。
但这带来一个问题，中间层的误差怎么计算？我们能简单地将权重和残差的乘积，返回给上一层节点（这种想法真暴力，从左到右和从右到
订阅专栏 解锁全文
扫一扫
4403
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
