ML_04 neuronale Netze 神经网络

原创于 2019-07-27 02:50:23 发布 · 201 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#neuronale netze

机器学习专栏收录该内容

10 篇文章

订阅专栏

本文深入探讨感知机算法原理，包括学习过程、问题及优化方法，并延伸至神经网络，讲解多层神经网络（MLNN）、激活函数选择、反向传播算法及优化策略如RPROP和Adam等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Perzeption 感知机算法，这个看一下李航统计学习方法里面讲的很好理解

1. gegeben Lerndatenmenge PUN 一直学习数据正例和反例
2. Erzeuge der Gewichtsvektor w 随机生成w参数
3. während Zähler < Schwellenwert:
4. 	Wähle ein Trainingsbeispiel x in PUN zufällig
5. 	Wenn x in P:
6. 		wenn w*x>0(korrekter Klassifiziert)
7. 			dann tue nichts
8. 		wenn w*x<=0:
9. 			setze w<- w+x (这里是把那个系数设为1了
10. x in N
11. wenn alle x richtig klafisiert:
12. 	break
13. update zähler

perzeption的问题：
两个几乎平行的向量间寻找，很容易振荡很久最后还是不拟合
在这里插入图片描述
解决方案就是用梯度下降法
或者是|w|>>|x|
那么拟合的速度很慢
所以需要归一化

Perzeptron -> Neuron

利用梯度下降法，那么就不能像用和perzeptron一样的aktivierungsfunktion
要求就是可微分differenzierbar 在0也可求导
perzeptron不能解决的问题就是表示XOR异或问题，但是通过很多的neuron的结合就可以实现
Kernel Perzeptron的算法
在这里插入图片描述
注意更新处a

MLNN 多层神经网络

在这里插入图片描述
xij: i-te Eingabe des Neuron j
wij: das Gewicht zwischen Neuron i und Neuron j
netj: $∑i=1nwijxij\sum_{i=1}^nw_{ij}x_{ij}$ Propagierungsfunktion
f(x): Aktivierungsfunktion
oj: Ausgabe des Neuron j
tj: Zielausgabe(target des Ausgabeneuron j
O: Mengen der Ausgabeneuron
Lj: direkte Nachfolger neuronen des Neurons j
真的不想打这些，没办法，考试有可能考
Nichtlinear-funktion:
1. Sigmoid= $11+e−x,偏微分f(x)(1−f(x))\frac{1}{1+e^{-x}},偏微分f(x)(1-f(x))$
2. Tangens Hyperbolius: f(x)=tanh(x),偏微分(1+f(x))(1-f(x))
在这里插入图片描述

Backpropagation Algorithm

随机得到w，然后求出估测结果值根据神经网络，然后根据与额定值的差来判断，
这样分配误差
在这里插入图片描述
这样调整

证明太长了。。。复习再推一遍

Problem/ Optimierung

Gradientabstieg 的优化加入了
在这里插入图片描述
归一化每一步

学习率也要灵活

RPROP（Resilient Propogation）利用了归一化的每一步和学习率调整加速了收敛
Adam-Adaptive Moment Estimation 每一个参数要加入均值和方差
梯度的方差，这样就可以得到震动曲线的极小值了
在这里插入图片描述
要不然他就很容易在平坦的高原flaches Plateau上停止
初始化参数Xavier-Initialierung

要考虑neuron j 进出的neuron数目
想要处理图的问题还是不可以Topologie

Cascade correlation cascade 相关性

为了能表示拓扑学，隐藏层的加入
在这里插入图片描述

Dropout

由于神经网络太大，所以一起训练很不切实际，把他们分成子集，然后同时训练
在这里插入图片描述
gradient vanisching/ exploding 一开始的gradient 传到最底层的神经网络可能会出现的情况
改进方法gradient clipping 梯度修剪，给梯度设定阀值
residual learning 跳过层学习，使得底下的层可以接受更大的错误