Multi-branch convolutional networks

最新推荐文章于 2024-09-30 18:16:23 发布

原创

最新推荐文章于 2024-09-30 18:16:23 发布 · 1.8k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#CNN

本文综述了多种多分支卷积网络架构，包括Highway Networks、ResNet及其变种Multi-Residual Networks、Multi-Level ResNets、Wide Residual Networks等。探讨了这些网络如何通过增加宽度而非深度来提高模型精度。

Multi-branch convolutional networks

这是在学习阅读Selective Kernel Networks论文中出现的related work。

从来没接触过，没了解过。今天学习记录一下。

Highway networks

R. K. Srivastava, K. Greff, and J. Schmidhuber. Highway networks. arXiv preprint arXiv:1505.00387, 2015.

highway network是主要讲的是什么呢，阅读其论文，主要描述的就是提出了一个门控函数。
对于一个卷积层的输入X，设门控函数为T(x)，卷积操作为H(x),
那么highway network的输出定义为 Y = T(x) * H(x) + (1-T(x)) * X

在这里插入图片描述
这种思想类似于ResNet的短路连接。

不过highway networks是在2015年提出来的。

准确的说是ResNet的发明借鉴了 highway networks的思路。

ResNet

K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In CVPR, 2016.

大名鼎鼎的ResNet就不用多介绍了，这里我就放一张图片。

在这里插入图片描述

multi-residual networks

M. Abdi and S. Nahavandi. Multi-residual networks. arxiv preprint. arXiv preprint arXiv:1609.05672, 2016.

多分枝残差网络。这到底是个什么东西呢，还得看论文怎么描述。

In this article, we take one step toward understanding the learning behavior of deep residual networks, and supporting the observation that deep residual networks behave like ensembles. We propose a new convolutional neural network architecture which builds upon the success of residual networks by explicitly exploiting the interpr