卷积神经网络三类主体层的理解（重点在全连接层(已加入一些与传统图像处理的联系)）

前段时间一直忙美赛➕过年，太久没碰cv和神经网络了，今天看了看笔记和文献and blog，就想自己用markdownpad做个笔记，随便来这儿献个丑

更新：这学期又恰好要学冈萨雷斯的数字图像处理，就加入了一些和传统数字图像处理的联系

三个部分以及CNN与传统图像处理的联系

①卷积层（conv）——————>用于提取特征

事实上，卷积层对应传统数字图像处理里的局部增强和空间滤波，即对一个像素点的邻域（如3x3的kernel_size就是处理一个像素点的3x3邻域）

特别地，1x1卷积是一种特殊的卷积，他是用来更改通道数目的，事实上，1x1 卷积一般用来替代全连接层，这样就免除了全连接层对输入图像尺寸的限制（这也是FCN的基本思想）

下面列举一些我知道的1x1卷积的用途：1.瓶颈层 2.channel-wise fully-connected（这个出现在Context Encoder论文里，其实和全连接层差不多，也是排除了位置信息的差异做全局统筹考虑） 3.更改feature map的channels数目

②池化层（pooling）——————>用于特征选择（也叫下采样）

③全连接层（fc（fully connected）层）———————>用于整合全局信息进行分类

事实上，在CNN中，激活函数所作的就是一种灰度变换（若针对灰度图像，RGB同理），例如，sigmoid激活函数就是让灰度值在一个范围内差异很大，在另一个范围内差异很小

如果是sgn符号函数做激活函数，就实现了灰度图像到二值图像的转换

每个部分的作用

1.卷积层（一种特殊的全连接层）

首先谈谈卷积层，事实上，卷积层和全连接层是可以相互转换的，卷积层就是进行①局部连接、②权值共享的进行特征提取的全连接层