神经网络--反向传播

最新推荐文章于 2025-03-26 11:35:43 发布

wanghua609

最新推荐文章于 2025-03-26 11:35:43 发布

阅读量1.1k

点赞数 1

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/weixin_38145317/article/details/103161359

版权

本文介绍了神经网络中的反向传播算法，从简单的单神经元模型开始，使用sigmoid激活函数。通过前向传播计算网络输出，然后利用批量梯度下降法更新参数，以最小化损失函数。反向传播过程中，误差通过权重矩阵的转置从输出层反传到隐藏层，简化更新公式并引入delta变量以减少重复计算，实现权重和偏置的高效更新。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

以监督学习为例，假设我们有训练样本集（x,y)，那么神经网络算法能够提供一种复杂且非线性的假设模型 $h_{w,b}(x)$ ,模型具有参数w,b,可以以此参数来拟合我们的数据。

为了描述神经网络，我们从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，输入 x=[x_1,x_2,x_3] ,偏置b=1

这里我们把激活函数f选择成sigmoid函数,其导数计算比较简单 f'(z)=f(z)(1-f(z)) ，模型输出为

$h_{w,b}(x)=f(wx+b)=sigmoid(\sum_{i=1}^{3}w_ix_i+b)$ ,

比较复杂的神经网络模型是由许多单一的“神经元”联接在一起的，

简单起见，用 z_i^l 表示第L层第i单元的输入加权和（包含偏置），比如

$z_i^2=\sum _{j=1}^nw_{ij}^1x_j+b_i^1$

用 a_i^l=f(z_i^l) 表示第L层第i单元的输出。则网络模型输出为

$h_{w,b}(x)=a^3=f(z^3)$

其中,注意下面的指数2，3表示2，3层，而不是平方或立方

最低0.47元/天解锁文章

博客等级

码龄8年

421
原创

1660
点赞

5672
收藏

345
粉丝

关注

私信

热门文章

最新评论

向日葵远程控制linux/window安装
joseph1314520: 还有Linux版本10.0的安装包吗
python 字典defaultdict(list)
満湫: [code=python] result = {} for (key, value) in data: if key not in result: result[key] = [] result[key].append(value) [/code] 以小弟的拙见。第一个方法感觉可以改成，先判断键在不在这个result里，如果不在，就在这个键对应位置创一个空列表，用来装那些数据。防止报错
python 字典defaultdict(list)
満湫: Traceback (most recent call last): File "D:\Work_APP\Anconda\envs\motionbert\lib\site-packages\IPython\core\interactiveshell.py", line 3457, in run_code exec(code_obj, self.user_global_ns, self.user_ns) File "<ipython-input-31-a115a0c08eff>", line 3, in <module> result[key].append(value) AttributeError: 'int' object has no attribute 'append'
python 字典defaultdict(list)
満湫: 第一个方法不太行呀
向日葵远程控制linux/window安装
优快云-Ada助手: 哇, 你的文章质量真不错，值得学习！不过这么高质量的文章, 还值得进一步提升, 以下的改进点你可以参考下: (1)增加除了各种控件外，文章正文的字数；(2)提升标题与正文的相关性；(3)增加条理清晰的目录。

大家在看

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。