深度学习之神经网络

神经网络

神经网络由输入层、隐藏层、输出层组成

神经网络类别

1、单层神经网路（感知机）：类似逻辑回归，线性分类，全连接
没有激活函数
2、两层神经网络（多层感知机）：带一个隐层，非线性分类，全连接
3、多层神经网络（深度学习）：全连接
4、卷积神经网络（CNN）：非全连接
5、循环神经网络（RNN）：处理序列数据

神经网络的三种函数

激活函数

作非线性变换

常用的激活函数

Sigmoid：输出0到1

Tanh：输出-1到1

Relu：小于0取0，大于0取本身

损失函数

是神经网络优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程，损失函数值小了，对应预测的结果和真是结果的值就越接近

常用的损失函数