第五章 人工神经网络

0. 神经网络前言介绍

神经网络的相关基础：

神经网络里面的相关分类：

神经网络的几个特点：

能够充分逼近复杂的非线性关系；
可以并行分布处理；
具有高度的鲁棒性和容错能力；
具有学习能力和自组织能力；

1. 神经元与神经网络

1. 生物神经元结构
   
   生物神经元结构：外层细胞膜，膜外有树突，长的叫轴突，小的是神经末梢。树突有多个，主要接收传入信息，信息通过轴突传递进来经过计算（细胞核 ）产生信号传递到轴突 ，轴突只有一条，轴突尾端许多轴突末梢可以给其他神经元传递信息。轴突末梢与其他神经元树突连接，连接位置在生物学上叫做“突触 ”。

类比神经元结构，得到人工神经网络：


权重的大小：训练神经网络让权重值调整到最佳值，使整个网络预测效果最好！

人工神经网络模仿生物神经系统建立数学模型，大量网络结点互相连接，选择不同的网络连接方式或拓扑结构，每个结点都有特定输出函数，即激活函数。

激活函数：

兴奋状态：细胞膜电位>动作电位的阈值–>神经冲动
抑制状态：细胞膜电位>动作电位的阈值

每个神经元的阈值不同，不同位置反映不同，神经元不希望传递微小的噪声信号。两结点之间连接都有权重，模拟神经细胞的记忆，不同权值和不同激活函数，因此神经网络模型可以模拟各种复杂问题，对算法逻辑策略的表达。
注意:深度学习本质就是改变神经元之间的连接强度，神经网络表示知识不是一个参数，而是网络参数的变化。

激活函数控制状态： 1、兴奋 2、抑制。
激活函数可以取阶跃函数(如下图)，为1表示激活状态，为0表示抑制状态或者未激活状态。

阶跃函数具有不连续，不光滑等不好性质，很少采
用，一般会用阶跃函数光滑后的函数作为阶跃函数，
后续详细讨论激活函数的点火特性

偏置b(截距)也叫偏置项或者截距项，b可以看作是+1的权值。输出值y是wi和b的函数。

下面是一个实例：


从此图中可以看出：线性分类器：可实现逻辑与、或、非，可解决线性分类和线性回归问题。

2. 网络结构
神经元不同的连接方式构成不同的网络结构。每个神经元都有自己的权重和偏置参数。

若没有激活函数，网络模型即使再多隐层，也等价单层网络，不具备1非线性建模能力。

为什么要引入激活函数？

1)线性模型表达力不够，激活函数可增加非线性因素！
2)为了增强网络的表达能力，我们需要激活函数来将线性函数->非线性函数.
3)非线性的激活函数需要有连续性。因为连续非线性激活函数可以可导的，所以可以用最优化的方法来求解.

常用激活函数概图：

激活函数应该具有什么性质？

非线性：线性激活层对于深层神经网络没有作用；仍为线性变换；
连续可微：梯度下降法要求满足连续可微；
范围最好不饱和：有饱和区间段时，系统优化时梯度似为0，网络的学习会停止；
单调性：当激活函数单调时，单层神经网络的误差函数为凸，易优化； • 原点处近似线性：当权值初始化为接近0的随机值时，网络学习较快；

几种典型的激活函数（传输函数、输出变换函数）：

（1）阶跃函数（硬极限函数）：最早M-P模型采用的激活函数，但光滑性不好。
$$f=\{\begin{array}{rcl}1& & z⩾0\\ 0& & z<0\end{array}$$

特点： 开关特性，超过阈值兴奋，低于阈值抑制，瞬间实现，简单,但数学处理角度不简单，无法求导，不易工程实现。

（2）对称阶跃函数（对称硬极限函数）： 光滑性不好。
$$f=\{\begin{array}{rcl}1& & z⩾0\\ -1& & z<0\end{array}$$

（3）sigmoid函数（S型函数、实用广泛）： 连续易求导，可微性和单调性，饱和性。
$$f(x)=$$