hyh14的博客

自编码器就是——将输入映射到某个特征空间，再从这个特征空间映射回输入空间进行重构。最简单的自编码器由三层组成：1个输入层、1个隐藏层、1个输出层。表示学习方法有两种典型的，一个是基于重构损失的方法，另一个是基于对比损失的方法。基于重构损失的方法——自编码器。

如，AlexNet，它以原始图像作为输入，而不是特征工程得到的特征，输出直接是预测的类型，这种学习方式称为端到端学习（end-to-end learning）。也就是低层的提取低层次的特征，而高层的提取高层次的与任务相关的特征。一个好的表示首先要尽可能的包含更多数据的本质信息，并且这个表示能直接服务于后续的具体任务。可以基于深度学习的这个特征进行迁移学习，迁移学习是指将已经学过的知识迁移到到新的问题上，最典型的应用就是调参。浅粉色：（255,192,203）深粉色:（255,20,147）

首次使用了并行的结构，使用多个大小不同的卷积核，可以提取到不同类型的特征，可以获得多尺度的特征，最后再将这些特征拼接起来。其中a就是V2中提到的，而b是用一个1xn和一个nx1的卷积代替nxn的卷积，这种方式是一种横纵方向上的信息解耦，分两次而不是一次性提取特征。在训练集以及测试集上，56层的网络比20层的网络效果更差，不是过拟合导致的，而是由于优化困难，这种问题称为，模型退化问题。V2是针对V1的基础上又进行了改进，将大尺寸的卷积进行分解，减少参数，降低计算复杂度。具体（将5x5用两个3x3代替）

转置卷积，假设输入为2x2，卷积核大小为3x3，转置卷积相当于自动补充了padding=2，然后再进行标准卷积，输出为4x4,。转置卷积可以设置padding和stride，如果设置了p，那么填充的0为k-1-p层，如果设置了s，那么就在卷积元素之间插入s-1个0。相比较于标准卷积，减少了参数量，因为只有一个卷积了，以及降低了计算量，提高了运算效率。卷积核大小为1x1；(C1/g=1) 卷积，这个时候，进行卷积，通道之间的信息是没有融合的，卷积过后想要融合，就要加上一个1x1的卷积来增加通道间的信息。

全连接层，将卷积的输出。

卷积”来源于信号处理领域。在图像处理中的卷积：先将卷积核先转180度，然后在输入中的对应位置取出一个大小为卷积核大小的区域，然后与旋转后的卷积求内积，得到对应位置的输出。这里用到了两个例子，一个是一阶算子Sobel以及二阶算子Laplacian。不同的卷积可以提取到不一样的特征。

神经网络的运行分为：前向传播、反向传播、参数更新：前向传播：给定参数后，直接进行计算，输出预测结果；反向传播：基于上一步的预测结果，计算损失函数值，然后计算相关参数的梯度；参数更新：使用上一步计算得到的梯度进行更新，重复上述过程，直到收敛。

激活函数，神经网络中的非线性变换，它可以使得神经网络几乎可以任意逼近任何非线性函数。如果没有激活函数，只剩下线性变换，那么，无论叠加多少层，神经网络还是一个线性变换模型。