目标分类
第一章 机器学习入门之反向传播算法 第二章 机器学习入门之RNN提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
达者为师,只是记录学习点滴,以求更好的巩固知识
提示:以下是本篇文章正文内容,下面案例可供参考
一 .反向传播算法是什么?
我学习时经常疑惑机器如何进行自我调节怎样就实现自动化,反向传播算法很好的解释了该疑惑,但是对其深层次的原理我还是不了解,可能以后会将该回答进行二次修改,三次修改。
二 .正向传播算法
这是初学者接触的一个最基本的算法
所谓的正向传播就是如图所示,a,b,c-f,g的一种传播方向就是正向传播,正向传播的公式就如网上一样,aw1+bw3+c*w5+b=D 等等…
三 .反向传播算法
就是逆运算,将正向传播算法的得到的F,G值通过算法就行全推,进而改变前向传播算法的的向量值,也就是俗称的调参。
具体的步骤就是:
F值与实际值进行均方差
Xi 为实际值值,后面的值为你计算的预估值,比如你设定F,G为0,1(假设你进行分类,输入一张猫,最后你想进行分类判断,判断是猫输出为1,否则输出为0)
得到一个值我们成为损失值,这个函数我们成为损失函数。
后面就是利用损失值利用链式法则进行对W的求导,和对偏置数b的求导,具体
L为上面所说的损失函数,应为都是截图所会导致符号不一样。
z就是d,f
下面就是进行反向传播
我们已经得到L的值,Z(f)=dw7+ew9+b Z(g)=dw8+ew10+b
上图可知,求W 跟 b 的偏导都需要进行对δ进行计算
所以对f,g 进行误差计算就是
因为f,g没有后一项参数所以w(k+1)就省略
d,e计算的误差就是
更新参数
以第一层为例子
其中n为学习率,也可以成为步长
总结
以上就是今天要讲的内容,本文仅仅简单介绍了反向传播的使用,我还只是一个攀登者,对很多问题还是一知半解,所以希望看到的人能多提一些意见,大家一起进步。谢谢