这篇博客详细介绍了吴恩达关于神经网络权重更新的步骤，包括前向传播（FP）和反向传播（BP）过程。在FP中，计算了从输入层到隐藏层再到输出层的激活值。在BP阶段，通过误差反向传播来更新权重和偏置，以减小损失函数。博主使用了m个样本来说明整个过程，并考虑了批量梯度下降的平均误差计算。
一个样本：
FP：
P:x变量个数
n1：第一层隐藏层个数
n2：第二层隐藏层个数
z[1] = w[1] x + b[1]
n1X1=n1XP * PX1 + n1X1
a[1] = g(z[1])
n1X1
z[2] = w[2] a[1] + b[2]
n2X1 = n2Xn1 * n1X1 + n2X1
a[2] = g(z[2])
n2X1
L(a[2],y)
1X1
bp:
dz[2] = a[2] - y
n2X1
dw[2] = dz[2] a[1].t
n2Xn1 = n2X1 * 1Xn1
db[2] = dz[2]
n2X1
dz[1] = da[1] *g’(z[1]) =w[2].t dz[2] *f’(z[1])
n1X1 = n1X1 * n1X1 = n1Xn2 * n2X1
dw[1] = dz[1] x.t
n1XP = n1X1 * 1XP
db[1] = dz[1]
n1X1
m个样本：
fp：
Z[1] = [z[1](1) , z[2](2) , … , z[m](m)]
Z[1] = w[1] X + b[1]
n1 X m = n1 X P * PXm + n1 X (1 * m)
A[1] = g(Z[1])
n1 X m
Z[2] = w[2] A[1] + b[2]
n2 X m = n2Xn1 * n1Xm + n2X(1 * m)
A[2] = g(Z[2])
n2 X m
L(a[2], Y)
1X1
BP:
dZ[2] = A[2] - Y
n2Xm = n2Xm
dw[2] = (1/m) dZ[2] A[1].t
n2Xn1 = n2Xm * mXn1
db[2] = (1/m) np.
最低0.47元/天 解锁文章
扫一扫
1418
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
