BP神经算法初级

目标分类

第一章 机器学习入门之反向传播算法 第二章 机器学习入门之RNN

提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档


前言

达者为师,只是记录学习点滴,以求更好的巩固知识


提示:以下是本篇文章正文内容,下面案例可供参考

一 .反向传播算法是什么?

我学习时经常疑惑机器如何进行自我调节怎样就实现自动化,反向传播算法很好的解释了该疑惑,但是对其深层次的原理我还是不了解,可能以后会将该回答进行二次修改,三次修改。

二 .正向传播算法

这是初学者接触的一个最基本的算法
在这里插入图片描述

所谓的正向传播就是如图所示,a,b,c-f,g的一种传播方向就是正向传播,正向传播的公式就如网上一样,aw1+bw3+c*w5+b=D 等等…

三 .反向传播算法

就是逆运算,将正向传播算法的得到的F,G值通过算法就行全推,进而改变前向传播算法的的向量值,也就是俗称的调参。

具体的步骤就是:

F值与实际值进行均方差在这里插入图片描述
Xi 为实际值值,后面的值为你计算的预估值,比如你设定F,G为0,1(假设你进行分类,输入一张猫,最后你想进行分类判断,判断是猫输出为1,否则输出为0)

得到一个值我们成为损失值,这个函数我们成为损失函数。

后面就是利用损失值利用链式法则进行对W的求导,和对偏置数b的求导,具体

在这里插入图片描述
L为上面所说的损失函数,应为都是截图所会导致符号不一样。

z就是d,f
下面就是进行反向传播
我们已经得到L的值,Z(f)=dw7+ew9+b Z(g)=dw8+ew10+b

上图可知,求W 跟 b 的偏导都需要进行对δ进行计算
在这里插入图片描述
所以对f,g 进行误差计算就是
在这里插入图片描述
因为f,g没有后一项参数所以w(k+1)就省略

d,e计算的误差就是
在这里插入图片描述

更新参数

在这里插入图片描述

以第一层为例子

在这里插入图片描述
其中n为学习率,也可以成为步长

总结

以上就是今天要讲的内容,本文仅仅简单介绍了反向传播的使用,我还只是一个攀登者,对很多问题还是一知半解,所以希望看到的人能多提一些意见,大家一起进步。谢谢

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值