吴恩达机器学习作业Python实现之神经网络之公式推导

本文详细介绍了神经网络的前向传播过程,包括权重更新的步骤,如添加偏置项和维数调整。接着探讨了逻辑回归的代价函数,以及如何将误差概念延伸到各层。重点讲解了反向传播算法,展示了误差从输出层向输入层逐层反向计算的过程。最后给出了梯度公式及其推导,涉及正则项的处理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、神经网络定义:前向传播

A(j+1) =g(Θ(j) *A(j) );

set p is the last layer,

X=[ones(m,1),X]; X要加上常数项

A(2) =g(Θ(1) *A(1) )= g(Θ(1) *XT);

A(2) = [ones(1,m); A(2)];A(2)要加上常数项X加常数项的方向是反的。详情见维数分析;

hΘ(X)= A(p) =g(Θ(p-1) *A(p-1) );

二、代价函数

逻辑回归的代价函数:

 当神经网络的激活函数选用逻辑回归函数时,神经网络的代价函数就是逻辑回归的代价函数,不同的是神经网络用K个输出,一起加起来就是。

三、误差定义:

 误差的理解:

代价函数J的另外一种表达方式是:

对最后一层也就是输出层来讲,J对Z的求导正好是误差,比较容易理解。p是最后一层:

 对其他层来讲,也沿用误差的概念,为的是后面计算梯度的方便。

四:反向传播:误差的反向计算

Delta(p)= A(p)-Y;

Delta(j-1)= (Θ(j-1))T *Delta(j).* A(j-1).*( 1-A(j-1));

Delta(j-1)= Delta(j-1) (2:end,:);把常数项去掉。

所以得到:

 这是向量化公式,要注意维度保持一致;

 维度分析:

 theta转置后和delta进行矩阵相乘,

然后和后两项进行数组相乘,

得到的结果再去掉常数项。

五、梯度公式及推导

set reg_Θ(j)= Θ(j); reg_Θ(j)(:,1)= 0;

Grad(j)=1/m*Delta(j+1)*( a(j)).T+λ/m* reg_Θ(j);

去掉正则项为:

Grad(j)=1/m*Delta(j+1)*( a(j)).T

这是向量化公式,要注意各项之间维度保持一致。

delta和A的转置进行矩阵相乘。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值