吴恩达深度学习笔记(一)week4 深层神经网络
虽然神经网络的层数变为深层,但推导过程和上周的一样
深层神经网络中的前向传播与反向传播
前向传播需要输入A[0]A[0]也就是XX来初始化;对应一整个输入样本的输入特征(其中每一列代表的是一个样本的特征),即A[0]=(a[0],a[1],a[2]⋯a[m])A[0]=(a[0],a[1],a[2]⋯a[m]),对应任意层ll,设其输入为,输出为a[l]a[l],前向传播过程为:
z[l]=W[l]a[l−1]+b[l]z[l]=W[l]a[l−1]+b[l]
a[l]=g[l](z[l])a[l]=g[l](z[l])
向量化:
Z[l]=W[l]A[l−1]+b[l]Z[l]=W[l]A[l−1]+b[l]
A[l]=g[l](Z[l])A[l]=g[l](Z[l])
反向传播:输入为da[l]da[l],输出为da[l−1]、dW[l]、db[l]da[l−1]、dW[l]、db[l]
前向传播和反向传播的总结如下:
核对矩阵的维度
设第ll层的神经元个数为则
W[l]W[l]的维度为(n[l],n[l−1])(n[l],n[l−1])
b[l]b[l]的维度为(n[l],1)(n[l],1)
z[l]、a[l]z[l]、a[l]的维度为(n[l],1)(n[l],1)
向量化 W[l]、b[l]W[l]、b[l]维度不变, A[l]、Z[l]A[l]、Z[l]的维度变为(n[l],m)(n[l],m) ,mm为输入样本的个数。