【周志华机器学习】 西瓜书吃瓜教程 学习笔记总结Task04

第五章 神经网络

5.1 神经元模型

神经网络neural networks：最基本的成分是神经元neuron模型，即上述定义中的“简单单元”

M -P 神经元模型：输入信号通过带权重的连接 connection)进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”activation function处理以产生神经元的输出。

5.2 感知机与多层网络  

感知机Perceptron： 由两层神经元组成，如图 所示，输入层接收外界输入信号后传递给输出层，输出层是M-P 神经元，亦称 阈值逻辑单元threshold logic unit

阈值 ： 可看作一个固定输入为-1.0的 “哑结点”dummynode 所对应的连接权重wn+b

学习率 learning rate： (0,1)

感知机的学习规则

   

但因为感知机只有输出层神经元进行激活函数处理 ，即只拥有一层功能神经元 functional neuron,故其学习能力非常有限。仅能解决与、或、非这类线性可分 linearly separable的问题。而解决非线性可分问题，需考虑使用多层功能神经元。

多层功能神经元