一般神经元模型

一般神经元

对于输入$\mathbf{x}=(x_1,x_2,\cdots,x_n)^T$，$\mathbf{w}=(w_1,w_2,\cdots,w_n)^T$为神经元输入权值，$\theta$为偏置，$u(\mathbf{x})$和$f(\mathbf{x})$ 分别为神经元的基函数和激活函数。基函数 $u(\mathbf{x})$为多输入单输出函数$u=u(\mathbf{x},\mathbf{w},\theta)$，激活函数$f(\mathbf{x})$ 一般对基函数输出$u$进行“挤压”，即通过非线性函数$f(\mathbf{x})$将$u$变换到指定范围内。

---

基函数$u(\mathbf{x})$的类型

1. 线性函数。多层感知器，Hopfield神经网络均采用此种基函数形式。采用线性函数时，基函数输出$u$为输入和阈值的加权和，即
   $$u=\sum_{i=1}^nw_ix_i+\theta=\mathbf{x}^T\mathbf{w}-\theta$$
   其中，$\mathbf{x}$和$\mathbf{w}$均为列向量，$\theta$为数。在多维空间中，此基函数形状为一个超平面。
2. 距离函数。常用于RBF神经网络。此基函数为
   $$u=\sqrt{\sum_{i=1}^n(x_i-w_i)^2}=||\mathbf{x}-\mathbf{w}||$$
   其中，$\mathbf{w}$被称为基函数的中心。其集合意义是向量$\mathbf{x}$与$\mathbf{w}$的欧式距离。在多维空间中，该基函数的形状是一个以$\mathbf{w}$为球心的超球。
3. 椭圆基函数。
   其在距离函数基础上加上因素上的权重，即
   $$u=\sqrt{\sum_{i=1}^nc_i(x_i-w_i)^2}$$
   在多维空间中，其为一个超椭球。

---

激活函数$u=u(\mathbf{x})$类型

1. 硬极限函数
   单极限函数：
   

   $$y=f(u)=\left\lbrace \begin{aligned} 1, u\geq0\\ 0, u<0 \end{aligned} \right.$$
   或双极限函数：
   $$y=f(u)=sgn(u)=\left\lbrace \begin{aligned} 1, u\geq0\\ -1, u<0 \end{aligned} \right.$$
   式中，sgn(u)为符号函数。

2. 线性函数
   表达式如下
   

   $$y=f(u)=u$$
   该激活函数通常用于实现函数逼近网络的输出层神经元
3. 饱和线性函数
   饱和线性函数表达式为
   $$y=f(u)=\frac{1}{2}(|u+1|-|u-1|)$$
   此函数与下列表达式等价
   $$y=f(u)=\left\lbrace \begin{aligned} 1&,& u\geq1\\ u&,& 1>u>-1\\ -1&,& u\leq-1 \end{aligned} \right.$$
4. Sigmoid函数
   可用于分类、函数逼近与优化问题，严格单增且光滑，其函数形式为
   $$y=f(u)=\frac{1}{1+e^{-\lambda u}}$$
   其中，$\lambda$称为Sigmoid函数的增益，是S型函数的斜率函数。$\lambda$越大，曲线越陡。其被称为双极性Sigmoid函数，值域为$(0,1)$。双曲正切S形激活函数（双极性Sigmoid函数）值域为$(-1,1)$，表达式如下
   $$y=f(u)=\tanh(\lambda u)=\frac{e^{\lambda u}-e^{-\lambda u}}{e^{\lambda u}+e^{-\lambda u}}$$
5. 高斯函数
   一般用于RBF神经网络，表达式为
   $$y=f(u)=e^{-\frac{u^2}{\delta^2}}$$
   其中，$\delta$为高斯函数的宽度或扩展常数，其值越大，函数曲线越平坦， 取值越小。

---

[1] 田玉波，混合神经网络技术，科学出版社，2009年6月