zzy_pphz的博客

全连接层讲解可以参照这牌你文章，里边全连接层讲的非常好。全连接层缺点：参数量过大，会导致过拟合。所以现在会用一种GAP（全局平均池化）来代替全连接层。GAP就是让一个H×W×C的输入变成一个1×1×C的输出，每个输出都是该层的像素的平均值。假设卷积层的最后输出是h × w × d 的三维特征图，具体大小为6 × 6 × 3，经过GAP转换后，变成了大小为 1 × 1 × 3 的输出值，也就是每一层 h × w 会被平均化成一个值。...

激活函数给神经元引入了非线性因素，如果不用激活函数，神经网络每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。激活函数使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。sigmoidsigmoid函数的定义为：sigmoid函数的图像如下：优点：sigmoid函数可以将实数映射到 [公式] 区间内。平滑、易于求导。缺点：1. 激活函数含有幂运算和除法，计算量大；2. 反向传播时，很容易就会出现梯度消失的情况，从而无法完成

最近搜索了下这几个概念，记录一下个人理解。shortcutx、y是相邻两层，通过W_H连接，通过将多个这样的层前后串接起来就形成了深度网络。其中H表示网络中的变换。为了解决深度网络的梯度发散问题，Highway（人名）在两层之间增加了（带权的）shortcut。其中C=1-T。残差连接（skip connect）若没有加入identity分支，那么就是用非线性变化函数来描述一个网络的输入输出，即输入为X，输出为F(x)，F通常包括了卷积，激活等操作。但是当我们强行将一个输入添加到函