吴恩达深度学习笔记(一)week4 深层神经网络

本文介绍吴恩达深度学习课程中深层神经网络的前向传播与反向传播过程,包括矩阵维度的核对等内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

吴恩达深度学习笔记(一)week4 深层神经网络


虽然神经网络的层数变为深层,但推导过程和上周的一样


深层神经网络中的前向传播与反向传播

前向传播需要输入A[0]A[0]也就是XX来初始化;A[0]对应一整个输入样本的输入特征(其中每一列代表的是一个样本的特征),即A[0]=a[0],a[1],a[2]a[m])A[0]=(a[0],a[1],a[2]⋯a[m]),对应任意层ll,设其输入为a[l1],输出为a[l]a[l],前向传播过程为:
z[l]=W[l]a[l1]+b[l]z[l]=W[l]a[l−1]+b[l]
a[l]=g[l](z[l])a[l]=g[l](z[l])
向量化:
Z[l]=W[l]A[l1]+b[l]Z[l]=W[l]A[l−1]+b[l]
A[l]=g[l](Z[l])A[l]=g[l](Z[l])
这里写图片描述
反向传播:输入为da[l]da[l],输出为da[l1]dW[l]db[l]da[l−1]、dW[l]、db[l]
这里写图片描述
前向传播和反向传播的总结如下:
这里写图片描述


核对矩阵的维度

设第ll层的神经元个数为n[l]
W[l]W[l]的维度为n[l]n[l1])(n[l],n[l−1])
b[l]b[l]的维度为n[l]1)(n[l],1)
z[l]a[l]z[l]、a[l]的维度为n[l]1)(n[l],1)
向量化 W[l]b[l]W[l]、b[l]维度不变, A[l]Z[l]A[l]、Z[l]的维度变为n[l]m)(n[l],m)mm为输入样本的个数。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值