神经网络之模块化视角(二)

我很佩服你的计算方法的优雅; 在真正数学的马匹上穿越这些领域一定很好，而我们这样的人必须徒劳无功地走上这条路。- 艾尔伯特爱因斯坦

卷积神经网络的结果

  早些时候，我们提到最近使用卷积神经网络的计算机视觉突破。在我们继续之前，我想简要地讨论一下这些结果作为动机。
 他们的进步是将一堆不同的部分组合在一起的结果。他们使用GPU来训练一个非常大的深度神经网络。他们使用了一种新的神经元（ReLUs）和一种新技术来减少一种叫做“过度拟合”的问题（DropOut）。他们使用了一个包含大量图像类别的非常大的数据集（ImageNet）。当然，它是一个卷积神经网络。

  他们的建筑如下图所示，非常深刻。它有5个卷积层，有散布的池，以及3个完全连接的层。早期层分为两个GPU。

  他们训练他们的网络将图像分为千种不同的类别。

  随机猜测，0.1％的时间会猜出正确的答案。Krizhevsky，et al。该模型能够在63％的时间内给出正确的答案。此外，它给出的前5个答案中的一个是正确的85％的时间！

    上：4个正确分类的例子。下图：4个错误分类的例子。每个示例都有一个图像，后跟其标签，然后是具有概率的前5个猜测。来自Krizehvsky 等人

  甚至它的一些错误对我来说似乎也很合理！我们还可以检查网络的第一层学习要做什么。
  回想一下，卷积层在两个GPU之间分开。信息不会在每一层上来回传递，因此拆分侧以实际方式断开连接。事实证明，每次模型运行时，双方都会专注。

  由第一个卷积层学习的过滤器。上半部分对应于一个GPU上的层，底部对应于另一个GPU上的层。

  一侧的神经元聚焦于黑色和白色，学习检测不同方向和大小的边缘。另一侧的神经元专注于颜色和纹理，检测颜色对比和图案。⁴请记住，神经元是随机初始化的。没有人去做它们是边缘探测器，或者以这种方式分裂。它只是通过训练网络来分类图像而产生的。

  这些显着的成果（以及当时的其他令人兴奋的结果）仅仅是开始。他们很快就接着进行了许多其他测试改进方法的工作，并逐步改进结果，或将其应用于其他领域。并且，除了神经网络社区之外，计算机视觉社区中的许多人都采用了深度卷积神经网络。

  卷积神经网络是计算机视觉和现代模式识别中的重要工具。

形式化卷积神经网络

考虑具有输入{$x_n$}并输出{$y_n$}：

• 根据输入描述输出相对容易：

$y_n=A(x_n,x_{n+},...)$

• 例如：

$y_0=A(x_0,x_1)$

$y_1=A(x_1,x_2)$

类似地，如果我们考虑一个二维卷积层，输入{$x_{n,m}$}并输出{$y_{n,m}$}

我们可以再次根据输入记录输出：

• 例如：

如果将其与$A(x)$的等式组合

$A(x)=\sigma (W_X+)$

  一个人拥有实现卷积神经网络所需的一切，至少在理论上是如此。

  在实践中，这通常不是考虑卷积神经网络的最佳方式。根据称为卷积的数学运算，有一种替代的公式，通常更有帮助。

  卷积运算是一个强大的工具。在数学中，它出现在不同的语境中，从偏微分方程的研究到概率论。部分由于其在偏微分方程中的作用，卷积在物理科学中非常重要。它在许多应用领域也具有重要作用，如计算机图形和信号处理。

  对我们来说，卷积将带来许多好处。首先，它将允许我们创建比天真的观点所暗示的更有效的卷积层实现。其次，它将从我们的配方中消除很多混乱，处理目前在x的索引中出现的所有簿记s - 目前的表述可能看起来并不凌乱，但这只是因为我们还没有陷入棘手的情况。最后，卷积将为卷积层的推理提供一个截然不同的视角。

注：本文系翻译