跟着问题学2——传统神经网络-多层感知机详解

原创

已于 2024-11-23 16:30:42 修改

· 1.3k 阅读

25 ·

版权

文章标签：

#神经网络 #人工智能 #深度学习 #python #语言模型 #机器学习 #ai

于 2024-11-17 20:32:03 首次发布

跟着问题学1——传统神经网络-线性回归及代码详解_深度学习中非线性变换代码-优快云博客

跟着问题学3——卷积神经网络详解-优快云博客

问题

从线性回归到多层感知机

上节我们介绍了最基础的传统神经网络——线性回归，讲述了神经网络最基础的几个部分，模型创建，数据收集，参数初始化，损失函数，优化算法以及循环训练。后面的神经网络就是在此基础上不断地增补优化，目的就是为了更好地提取特征。

线性回归里我们利用了房价预测这一例子来初步介绍了特征是什么，就是可以影响最终结果的数据。而在房价预测例子中，我们做了很多简化，而且输入特征是可以直接量化的，比如建成时间，和市中心距离等，而且最终的房价也是利用这些特征做了一次简单的线性组合。但我们想象一下，对于“指鹿为马”这一图片识别的场景，我们输入的不是有无角，角的长度，毛皮花纹和颜色的类型，而是一张由一个个数字像素点组成的图片，，这些像素点是特征，不过不是我们所能理解的“特征”，所以研究人员就在输入层和输出层之间增加了更多的层，用以从这些基础原始特征里面一层层提取出抽象的特征，抽取出类似“有无角，角的长度，毛皮花纹和颜色的类型”这些特征，最终根据这些高级抽象特征来输出最终的结果。

模型创建

全连接层

上节我们创建了线性回归的神经网络模型，包括输入层和输出层，由于输入层并不涉及计算，按照惯例不算到神经网络的层数里。所以，线性回归是一个单层神经网络。

多层神经网络在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。隐藏层的本质就是对输入数据的特征进行提取变换，深度学习网络设计的核心也是寻找更有效的“隐藏层”，能够更高效地提取挖掘特征。

多层神经网络有如下结构：

输入层（Input layer）：将要输入到神经网络的原始数据特征，可以是上节讲到的影响房价的特征向量，也可以是鹿或者马的图片（多层矩阵），也可以是人的声音或语言文字信息，总之，包含一切可以表示信息特征的数据形式。但值得注意的是输入层一般不计入神经网络的总层数里。

输出层（Output layer）：数据特征在神经网络中不断地提取抽象，最后在输出层输出期望的结果。输出层一般是全连接层。

隐藏层（Hidden layer），简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层。隐层可以有一层或多层。隐层的节点（神经元）数目不定，但数目越多，网络的非线性越显著，从而神经网络的强健性（robustness）也越显著，与此同时，计算复杂度也会大大提升。隐藏层的本质也是数据特征，只是对上层特征进行了提取组合优化。

输出层中的神经元和上层中每个输入都连接。因此，这里的输出层又叫全连接层（fully-connected layer）或稠密层（dense layer）。

从图中可以看到，第 N 层的每个神经元和第 N-1 层的所有神经元相连（这就是full connected的含义），第 N-1 层神经元的输出就是第 N 层神经元的输入。所谓的全连接层就是在前一层的输出的基础上进行一次Y=Wx+b的变化(不考虑激活函数的情况下就是一次线性变化，所谓线性变化就是平移(+b)和缩放的组合(*w)。

模型创建后，同样再思考第一个问题：输入是什么？房价预测例子中，我们借用影响房价的特征来说明输入，这次我们用更一般的方式来说明。多层感知机里的输入是的向量（房价预测中=3），这里就是说输入是d的特征向量，若是图片这种2维的矩阵，则可以先展开成1维的向量，然后再送到下一层中。再进一步思考，网络训练时经常采用的批量训练，输入和特征又该如何表示？后面学习卷积神经网络时再介绍。

再来考虑第二个问题，这个函数模型里的参数数量是多少？我们知道，参数用来将上一层的所有神经元加权计算得到下一层的每个神经元，以输入层到第一个隐藏层为例，输入层的神经元数为3，隐藏层的神经元数为5，则参数数量为3*5，也就是说每层网络的参数是本层神经元数乘上上层神经元数（注意这是全连接层网络的计算方式。）