神经网络与深度学习 笔记1 感知机 S型神经元

1.感知器

    一个感知器接受几个二进制输入,x 1 , x 2 , . . .,并产生一个二进制输出:

                       

示例中的感知器有三个输入,x 1 , x 2 , x 3，引入权重,w 1 , w 2 , . . .,表示相应输入对于输出重要性的实数。神经元的输出,0 或者 1,则由分配权重后的总和∑jwjxj is小于或者大于一些阈值决定

第一个变动是把∑jwjxj 写成点乘 w⋅x≡∑jwjxj,第二个变动是把阈值移到不等式的另一边,并用感知器的偏置 b ≡ −threshold 代替。
用偏置而不是阈值,那么感知器的规则可以重写为:

output={01if w⋅x+b≤0if w⋅x+b>0

我们可以把偏置看作一种表示让感知器输出 1(即激活感知器)有多容易的估算。

2.  S型神经元（逻辑神经元）

S 型神经元对每个输入有权重,w 1 , w 2 , . . .,和一个总的偏置,b。但是输出不是 0 或 1。相反,它现在是 σ(w · x + b), 这里 σ 被称为 S 型函数 （逻辑函数） ,定义为:

σ(z)≡11+e−z.

把它们放在一起来更清楚地说明,一个具有输入 x 1 , x 2 , . . .,权重 w 1 , w 2 , . . .,和偏置 b 的 S型神经元的输出是:

11+exp(−∑jwjxj−b).

很明显,感知器和 S 型神经元之间一个很大的不同是 S 型神经元不仅仅输出 0 或 1。它可以输出 0 和 1 之间的任何实数,所以诸如 0.173 . . . 和0.689 . . . 的值是合理的输出。