感知机

---

感知机

• 权重($w_1$, $w_2$…)表示相应输入对于输出重要性的参数
• 神经元的输出为0或1

$$output=\begin{cases} 0 & \sum_jw_jx_j \leq threshold\\ 1 & \sum_jw_jx_j > threshold\\ \end{cases}$$

• $w * x = \sum_jw_jx_j$
• $b = -threshold$

$$output=\begin{cases} 0 & w*x+b \leq 0\\ 1 & w*x+b > 0\\ \end{cases}$$

S型神经元

• Input,output(sigmod)可以为浮点数
• $\sigma = \frac{1}{1+e^{-z}}$
• $output = \frac{1}{1+exp(-\sum_jw_jx_j-b)}$
  

---

神经网络架构

• input layer, output layer, hidden layer
• 多层网络=> 多层感知器或者MLP
• 前馈神经网络（上一层输出作为下一层输入，没有环路）
• 递归神经网络（具有反馈回路）：具有休眠前会在一段有限的时间内保持激活状态的神经元，这种神经元可以刺激其他神经元，使其随后被激活并同样保持一段有限的时间。这样会导致更多的神经元被激活，随着时间的推移，得到一个级联的神经元激活系统。因为一个神经元的输出只在一段时间后而不是即刻影响它的输入，回路并不会引起问题。

---