机器学习 -- 《机器学习》（周志华）第五章笔记

机器学习 – 《机器学习》（周志华）第五章笔记

神经网络

摘要

神经网络是具有适应性的简单单元组成的广泛并进行互联的网络，他的组织能够模拟生物神经系统进行对真实的世界物体所作出的交互反应，其并不是生物学意义上的神经网络。它由众多的简单单元组合，其中一个被“刺激”后“激活”，其便会向其他单元发送“反应”

笔记

1. M-P神经元模型
   每个神经元有其适当的权重。当一个或多个神经元给当前神经元进行刺激后，对其输入以及权重进行计算，如果超过当前神经元阈值，则当前神经元被激活,然后当前神经元通过“激活函数” 进行处理，再产生神经元输出。如图：
   

2. 感知机
   感知机有两层神经元组成，分为输入层和输出层，输入层接受外界输入信号后传递给输出层，而输出层则是笔记1中的M-P 神经元模型。

3. 误差逆传播法
   误差逆传播法(error BackPropagation,BP)也称为反向传播法。其为多层网络，学习能力要远优于单感知机，BP算法可以运用于多种神经网络，例如：前馈神经网络，训练递归神经网络等。如图：
   

4. 全局最小
   是指在进行训练过程中找到一个使得误差 E 最小的参数

5. RBF(Radial Basis Function, 径向基函数) 网络
   RBF 网络是一种单隐层前馈神经网络，其为使用RBF作为神经元的激活函数的网络。通常在训练此类网络时首先选定神经元中心，然后使用BP算法来确定较优参数

6. ART网络
   其是竞争型学习的代表，其由比较层、识别层、阈值、重置模块等构成。识别层在收到比较层的信号之后开始竞争，最终选择获胜神经元。其中识别阈值的优劣对于ART网络有着举足轻重的作用。

7. SOM 网络
   Self-Organizing Map, 自组织映射网络。其为竞争型无监督学习型网络，其能将高维数据映射至低维数据。提高计算性能。

8. Boltzmann机 前馈
   其为一种基于能量的模型。

9. 深度学习
   深度学习，最简单就是增加隐层数目，增加隐层数目的效率要高于增加隐层神经元的数量，但随着隐层数目的增多，模型也将更加的复杂。但此种神经网路则很难使用BP算法。但无监督逐层训练则非常适用此种网络