卷积神经网络(Convolutional Neural Network, CNN),是一种具有局部连接、权值共享等特点的前馈神经网络(又称作全连接神经网络),是多层感知机(也称为人工神经网络)的变种,擅长处理图像特别是图像识别等相关机器学习问题,比如图像分类、目标检测、图像分割等各种视觉任务。
前馈神经网络(FNN)、全连接神经网络(FCNN)、多层感知机(MLP)、人工神经网络(ANN)这些术语在一定的上下文中可以指代相似的概念,但有时也有一些微妙的区别。
1 前馈神经网络
前馈神经网络(Feed-Forward Neural Networks, FNN)通常指的是一类神经网络,其中信息沿着一个方向从输入层传递到输出层,没有循环连接。前馈神经网络通常使用反向传播算法(BackPropagation,BP)进行训练,以调整权重和减小预测误差。
2 全连接神经网络
全连接神经网络(Full Connect Neural Network, FCNN)通常指的是神经网络中的一种层次结构,也被称为全连接层。在全连接层中,每个神经元都与前一层的每个神经元相连,即每个输入都与每个输出相连接。参考全连接神经网络公式详解
3 多层感知机
多层感知机(Multilayer Perceptron, MLP)通常用来描述一种特殊类型的前馈神经网络,其中包括输入层 Input Layer 和输出层 Output Layer,还包含一个或多个隐藏层。每个隐藏层 Hidden Layer 都包含多个神经元,这些神经元使用非线性激活函数来引入网络的非线性性。网络结构图如下所示。
从上图可以看到,多层感知机层与层之间是全连接的。多层感知机最底层是输入层,中间是隐藏层,最后是输出层。
Q1: 隐藏层的神经元与输入层和输出层是什么关系?