神经网络之反向传播(BP)

本文基于斯坦福大学机器学习课程,详细介绍了单层神经元的逻辑运算功能,以及神经网络的前向传播和反向传播过程。在前向传播中,数据经过隐藏层得出输出结果。反向传播用于调整权重,通过计算误差并从前向传播的输出层回溯到输入层,以优化损失函数。最后提到了非凸成本函数可能导致局部最优的问题,以及初始化参数的注意事项,并提供了使用Octave实现的代码链接。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

主要参考斯坦福大学机器学习第五周内容

  • 单层神经元

单层神经元(无中间层)可以用来计算逻辑或,逻辑与运算

image

如图, θ 0 = − 50 , θ 1 = 20 , θ 2 = 20 \theta_0=-50,\theta_1=20 , \theta_2=20 θ0=50,θ1=20,θ2=20,所以函数为 h θ ( x ) = g ( − 50 + 20 x 1 + 20 x 2 ) h_\theta(x)=g(-50+20x_1+20x_2) hθ(x)=g(50+20x1+20x2)( g ( t ) 为 s i g m o i d 函 数 g(t)为sigmoid函数 g(t)sigmoid)有:
image

当运用更多的神经元可以实现更多的功能,这就是神经网络。

  • 前向传播

image

如图,前向传播即在输入层输入数据,经过若干隐藏层,得出输出层结果,具体算法:
α 1 ( 1 ) = x \alpha_1^{(1)}=x α1(1)=x z 1 2 = Θ ( 1 ) α ( 1 ) z_1^{2}=\Theta^{(1)}\alpha^{(1)} z12=

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值