Day1 从生物学到数学 解释 神经网络中的神经元
生物学中的神经网络
- 人的大脑是由多个神经元借助突触形成网络而构成的。
- 树突接收信号，轴突传递信号
- 对于从其他多个神经元传递过来的信号，如果它们的和不超过某个固定大小的值（阈值），则神经元不做出任何反应。
- 对于从其他多个神经元传递过来的信号，如果它们的和超过某个固定大小的值（阈值），则神经元做出反应（称为点火），向另外的神经元传递固定强度的信号。
注意：从多个神经元传递过来的信号之和中，每个信号对应的权重不一样。
神经元工作的数学表示
从多个神经元传递过来的信号之和中，每个信号对应的权重不一样。
例如，来自相邻神经元 1、2、3 的输入信号分别为 x1、x2、x3，则神经元的输入信号之和可以如下数学表示：
w 1 x 1 + w 2 x 2 + w 3 x 3 w_1 x_1 + w_2 x_2 + w_3 x_3 w1x1+w2x2+w3x3
- 式中的 w 1 w_1 w1、 w 2 w_2 w2、 是 w 3 w_3 w3输入信号 x 1 x_1 x1、 x 2 、 x 3 x_2、x_3 x2、x3 对应的权重（weight）。
神经元在信号之和超过阈值时点火，不超过阈值时不点火。
点火条件可以如下数学表示：
无输出信号（ y = 0 y = 0 y=0）： w 1 x 1 + w 2 x 2 + w 3 x 3 < θ w_1 x_1 + w_2 x_2 + w_3 x_3 < θ w1x1+w2x2+w3x3<θ
有输出信号（ y = 1 y = 1 y=1）： w 1 x 1 + w 2 x 2 + w 3 x 3 ≥ θ w_1 x_1 + w_2 x_2 + w_3 x_3 \geq θ w1x1+w2x2+w3x3≥θ
- 这里，θ (theta)是该神经元固有的阈值。
备注：
有的文献会像下面这样处理式点火公式中的不等号
{ 无输出信号 ( y = 0 ) : w 1 x 1 + w 2 x 2 + w 3 x 3 ≤ θ 有输出信号 ( y = 1 ) : w 1 x 1 + w 2 x 2 + w 3 x 3 > θ \left\{ \begin{array}{ll} \text{无输出信号 (} y = 0 \text{)}: & w_1 x_1 + w_2 x_2 + w_3 x_3 \leq θ \\ \text{有输出信号 (} y = 1 \text{)}: & w_1 x_1 + w_2 x_2 + w_3 x_3 > θ \end{array} \right. {无输出信号 (y=0):有输出信号 (y=1):w1x1+w2x2+w3x3≤θw1x1+w2x2+w3x3>θ
在生物上这也许是很大的差异，不过对于深度学习中的神经网络是没有问题的。
点火条件的图形表示:
单位阶跃函数表示：
u
(
z
)
=
{
0
(
z
<
0
)
1
(
z
≥
0
)
u(z) = \begin{cases} 0 & (z < 0) \\ 1 & (z \geq 0) \end{cases}
u(z)={01(z<0)(z≥0)
z
=
w
1
x
1
+
w
2
x
2
+
w
3
x
3
−
θ
z = w_1 x_1 + w_2 x_2 + w_3 x_3 - \theta
z=w1x1+w2x2+w3x3−θ
y = u ( w 1 x 1 + w 2 x 2 + w 3 x 3 − θ ) y=u(w_1 x_1 + w_2 x_2 + w_3 x_3 - \theta) y=u(w1x1+w2x2+w3x3−θ)
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
