Deep Learning读书笔记5---卷积网络

1. 卷积公式：

2.卷积运算特点：

稀疏交互：

**参数共享：** 参数共享是指在一个模型的多个函数中使用相同的参数。 在卷积神经网络中，核的每一个元素都作用在输入的每一位置上（是否考虑边界像素取决于对边界决策的设计）。 卷积运算中的参数共享保证了我们只需要学习一个参数集合，而不是对于每一位置都需要学习一个单独的参数集合。 **平移等变：** 如果一个函数满足输入改变，输出也以同样的方式改变这一性质，我们就说它是等变(equivariant)的。 特别地，如果函数 $f(x)$与 $g(x)$满足 $f(g(x))= g(f(x))$，我们就说 $f(x)$对于变换 $g$具有等变性。 对于卷积来说，如果令$g$是输入的任意平移函数，那么卷积函数对于 $g$具有等变性。

3. 池化

池化函数使用某一位置的相邻输出的总体统计特征来代替网络在该位置的输出。 例如，最大池化函数给出相邻矩形区域内的最大值。 其他常用的池化函数包括相邻矩形区域内的平均值、$L^2$范数以及基于据中心像素距离的加权平均函数。

不管采用什么样的池化函数，当输入作出少量平移时，池化能够帮助输入的表示近似不变。 对于平移的不变性是指当我们对输入进行少量平移时，经过池化函数后的大多数输出并不会发生改变。

局部平移不变性是一个很有用的性质，尤其是当我们关心某个特征是否出现而不关心它出现的具体位置时。

使用池化可以看作是增加了一个无限强的先验：这一层学得的函数必须具有对少量平移的不变性。 当这个假设成立时，池化可以极大地提高网络的统计效率。

当我们对分离参数的卷积的输出进行池化时，特征能够学得应该对于哪种变换具有不变性，如下图所示。

4. 基本卷积函数的变体

我们有时会希望跳过核中的一些位置来降低计算的开销（相应的代价是提取特征没有先前那么好了）。 我们可以把这一过程看作是对全卷积函数输出的下采样(downsampling)。 如果我们只想在输出的每个方向上每间隔$s$个像素进行采样，那么我们可以定义一个下采样卷积函数$c$使得

$$\begin{equation} Z_{i,j,k} = c(K, V, s)_{i,j,k} = \sum_{l,m,n} [V_{l,(j-1)\times s+m, (k-1)\times s +n,} K_{i,l,m,n}]. \end{equation}$$ 我们把 $s$称为下采样卷积的步幅。 当然也可以对每个移动方向定义不同的步幅。

**平铺卷积**对卷积层和局部连接层进行了折衷。 这里并不是对每一个空间位置的权重集合进行学习，我们学习一组核使得当我们在空间移动时它们可以循环利用。 这意味着在近邻的位置上拥有不同的过滤器，就像局部连接层一样，但是对于这些参数的存储需求仅仅会增长常数倍，这个常数就是核的集合的大小，而不是整个输出的特征映射的大小。 局部连接，卷积和全连接的比较 :

5. 结构化输出

对图像逐个像素标记的一种策略是先产生图像标签的原始猜测，然后使用相邻像素之间的交互来修正该原始猜测。 重复这个修正步骤数次对应于在每一步使用相同的卷积，该卷积在深层网络的最后几层之间共享权重。 这使得在层之间共享参数的连续的卷积层所执行的一系列运算，形成了一种特殊的循环神经网络。 下图给出了这样一个循环卷积网络的结构。

6. 数据类型

7. 高效的卷积算法

1. 卷积等效于使用傅立叶变换将输入与核都转换到频域、执行两个信号的逐点相乘，再使用傅立叶逆变换转换回时域。
2. 当一个$d$维的核可以表示成 $d$个向量（每一维一个向量）的外积时，该核被称为可分离的。 它等价于组合$d$个一维卷积，每个卷积使用这些向量中的一个。 组合方法显著快于使用它们的外积来执行一个 $d$维的卷积。 并且核也只要更少的参数来表示成向量。 如果核在每一维都是$w$个元素宽，那么朴素的多维卷积需要 $O(w^d)$的运行时间和参数存储空间，而可分离卷积只需要 $O(w\times d)$的运行时间和参数存储空间。

   8. 随机或无监督的特征

   通常，卷积网络训练中最昂贵的部分是学习特征。 减少卷积网络训练成本的一种方式是使用那些不是由监督方式训练得到的特征。

   有三种基本策略可以不通过监督训练而得到卷积核：
   1. 简单地随机初始化它们。
   2. 手动设计它们，例如设置每个核在一个特定的方向或尺度来检测边缘。
   3. 使用无监督的标准来学习核。 例如，将$k$均值聚类算法应用于小图像块，然后使用每个学得的中心作为卷积核。 使用无监督的标准来学习特征，允许这些特征的确定与位于网络结构顶层的分类层相分离。 然后只需提取一次全部训练集的特征，构造用于最后一层的新训练集。 假设最后一层类似逻辑回归或者SVM，那么学习最后一层通常是凸优化问题。

   9. 卷积网络的神经科学基础

   初级视觉皮层细胞具有由Gabor函数所描述的权重。 Gabor函数描述在图像中的2维点处的权重。我们可以认为图像是2维坐标$I(x,y)$的函数。 类似地，我们可以认为简单细胞是在图像中的一组位置采样，这组位置由一组$x$坐标$X$和一组$y$坐标$Y$来定义，并且使用的权重$w(x,y)$也是位置的函数。 从这个观点来看，简单细胞对于图像的响应由下式给出:

   
   

   这里$\alpha, \beta_x, \beta_y, f, \phi, x_0, y_0, \tau$都是控制Gabor函数性质的参数。 下图给出了Gabor函数在不同参数集上的一些例子：