神经网络

Sigmoid函数通常写作如下形式：

如下图所示：

神经元模型（逻辑单元）如下图所示：输入向量 （input layer），输出层（output layer）。

 （与逻辑回归非常相似）

神经网络：如下图所示，输入向量（input layer），中间层（hidden layer）, 输出层（output layer）。

其中，中间层的表示第2层第i个单元。

举例：神经网路中，单层神经元（无中间层）的计算可用来表示逻辑运算，比如逻辑与AND、逻辑或OR

例一：逻辑与AND

例二：逻辑或OR

例三：同或XNOR

将AND、NOT AND和 OR组合到一起，即可得到 XNOR  ：

 = && 

 = && 

= || =( && ) || ( && )= XNOR 

如何用神经网络进行分类？

输入向量x有三个维度，两个中间层，输出层4个神经元分别用来表示4类，也就是每一个数据在输出层都会出现[a b c d]^T，且a,b,c,d中仅有一个为1，表示当前类。