机器学习第五章-神经网络

目录

5.1神经元模型

5.2感知机与多层网络

5.3误差逆传播算法（BP）

5.4全局最小与局部极小

5.5其他常见的神经网络

5.5.1RBF网络

5.5.2ART网络

5.5.3SOM网络

5.5.4级联相关网络

5.5.5Elman网络

5.5.6Boltzmann 机

---

5.1神经元模型

        神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

        神经网络中最基本的成分是神经元模型。在生物神经网络中每个神经元与其他神经元相连，当它兴奋时， 就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个阔值，那么它就会被激活兴奋起来，向其他神经元发送化学物质。

        一直沿用至今的是 "M-P 神经元模型“，如下图所示：

        神经元会接收外界的n个输入信号，这些输入会与带权重的连接传递，再通过“激活函数”对信号进行处理从而产生神经元的输出。

        理想的激活函数是阶跃函数，其将输入值映射为输出值0或1，但是因为其不连续、不光滑的性质，实际常用sigmoid函数作为激活函数，有时也将sigmoid函数叫做挤压函数。阶跃函数和sigmoid函数如下所示：

5.2感知机与多层网络

        感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层， 输出 层是 M-P 经元，亦称"阔值逻辑单元"，结构示意图如下：

                                        

        更一般地，给定训练数据集，权重以及阈值可通过学习得到.

        感知机学习规则非常简单，对训练样例忡（x，y) 若当前感知机的输出为，则感知机权

重将这样调整:
                                

                                

其中为学习率.

        感知机只有输出层神经元进行激活函数处理，即只拥有一层功能神经元，其学习能力非常有限.所以应该采用多层功能神经元，如下图所示，输出层与输入层之间有一层神经元，被称为隐居或隐含层，隐含层和输出层神经元都是拥有激活函数的功能神经元.

多层神经元结构图如下：