1.多层感知机(MLP)是深度神经网络(DNN)的基础算法,有时候提起DNN就是指MLP
2.感知机跟SVM优化的目标一致,损失函数不同(前者分母限制为1,后者分子限制为1)
3.神经网络由输入层(第一层)、隐藏层(中间层)和输出层(最后一层)构成
4.在MLP中,层与层之间是全连接的
5.前向传播算法用于求解相邻两层间输出的关系,某层的输入就是上一层的输出
6.反向传播算法(BP)用于求解各层的系数关系矩阵W和偏倚向量b
7.求解MLP采取梯度下降法
多层感知机(Multi-Layer perceptron,MLP),是深度神经网络(Deep Neural Networks,DNN)的基础算法,因此有时候说DNN就是指多层感知机。
我们在感知机与线性判别分析一文中简要提到了感知机的思想——错误驱动。为了更好介绍多层感知机,先回顾一下感知机算法。
感知机
感知机的损失函数为
注