本文介绍了BP反向传播的基本原理，通过误差反向传播逐层估计并调整神经网络的连接权重，核心是梯度下降法。在前向传播过程中，计算节点的激活值和预测值；在反向传播中，利用链式法则计算误差，并更新权重。最后，应用学习率进行权重和偏置的更新。
BP反向传播
基本原理
利用输出后的误差来估计输出层前一层的误差，再用这个误差估计更前一层的误差，如此一层一层地反传下去，从而获得所有其他各层的误差
对网络的连接权重做动态调整
核心：梯度下降法
推导过程
输入层相关变量：下标i
隐藏层相关变量：下标h
输出层相关变量：下标j
激励函数输入为a, 激励函数输出为z, 结点误差为δ
预测值是z, 目标值是t
【前向传播】
ah=∑iwihxi+θhzh=f(ah){a_h} = \sum\limits_i {
{w_{ih}}{x_i} + {\theta _h}} \quad\quad{z_h} = f\left( {
{a_h}} \right)ah=i∑wihxi+θhzh=f(ah)
aj=∑hwhjzh+θjzj=f(aj){a_j} = \sum\limits_h {
{w_{hj}}{z_h} + {\theta _j}} \quad\quad{z_j} = f\left( {
{a_j}} \right)aj=h∑whjzh+θjzj=f(aj<
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
