机器学习笔记（XIV）神经网络（I）基本概念

神经网络模型

定义：

神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。

基本单位

神经网络的最基本的单位是神经元(neuron)模型，就是定义中的简单单元。

生物神经网络

在生物神经网络中，每个神经元和其他神经元相连，当它“兴奋”的时候，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位，如果某种电位超过了一个“阈值”，那么它就会被激活，即兴奋起来，向其他神经元传递化学物质。

$M\text{-}P$神经网络

$M\text{-}P$神经元模型

在$M\text{-}P$神经元模型中，神经元收到来自$n$个其他神经元传递过来的输入信号，这些输入信号通过权重连接进行传递，神经元接收到的总输入值将会与神经元的阈值进行比较，然后通过激活函数处理以产生神经元输出。

输入：

$$\mathbf{x}=\left(\begin{aligned} \begin{matrix} x_1\\ x_2\\ \vdots\\ x_n\\ \end{matrix} \end{aligned} \right)$$

权重：

$$\mathbf{w}=\left(\begin{aligned} \begin{matrix} w_1\\ w_2\\ \vdots\\ w_n\\ \end{matrix} \end{aligned} \right)$$

阈值

$$threshold=\theta$$
则输出可以表示为：
$$y=f\left(\sum\limits_{i=1}^{n}w_ix_i-\theta\right)=f\left(\mathbf{w}^T\mathbf{x}-\theta\right)$$

输出映射：

$$y\in\{0,1\}$$
$$\left\{ \begin{aligned} 1代表兴奋\\ 0代表抑制\\ \end{aligned} \right.$$

激活函数（响应函数）

常见激活函数：

$$sgn(x)=\left\{ \begin{aligned} 1&,x\geq0;\\ 0&,x\lt0;\\ \end{aligned} \right.$$

$$sigmoid(x)=\dfrac{1}{1+e^{-x}}$$