机器学习之神经网络基础

多层感知器

人工智能的研究者为了模拟人类的认知，提出了不同的模型。人工神经网络是人工智能中非常重要的一个学派——连接主义最为广泛使用的模型。

在传统上，基于规则的符号主义学派认为，人类的认知是基于信息中的模式；而这些模式可以被表示成为符号，并可以通过操作这些符号，显式地使用逻辑规则进行计算与推理。

而基于统计的连接主义的模型将认知所需的功能属性结合到模型中来，通过模拟生物神经网络的信息处理方式来构建具有认知功能的模型。类似于生物神经元与神经网络，这类模型具有三个特点：

1.拥有处理信号的基础单元

2.拥有处理信号的基础单元

3.处理单元之间的连接是有权重的

 这一类模型被称为人工神经网络，多层感知器是最为简单的一种。

基础概念

神经元

神经元是基本的信息操作和处理单位。

它接受一组输入，将这组输入加权求和后，由激活函数来计算该神经元的输出。

输入

一个神经元可以接受一组张量作为输入

x={x_1,x_2,…,x_n}^⊺

输出

激活函数的输出o即为神经元的输出。

一个神经元可以有多个输出o_1,o_2,…,o_m对应于不同的激活函数f_1,f_2,…,f_m

连接权值

偏置

激活函数

在神经网络中，全连接层只是对上层输入进行线性变换，而多个线性变换的叠加仍然是一个线性变换，即含有多个全连接层的神经网络与仅含输出层的单层神经网络等价。

解决问题的一个方法是，在全连接层后增加一个非线性的变换，将非线性变换后的结果作为下一个全连接层的输入。

这个非线性函数被称为激活函数（Activation Function），神经网络可以逼近任意函数的能力与激活函数的使用不可分割。 常见的激活函数有ReLU、Sigmoid、Tanh和Softmax等。

1.ReLU函数

线性整流函数（Rectified Linear Unit，ReLU），又称修正线性单元