《Dual Path Networks》笔记

最新推荐文章于 2023-07-30 21:59:46 发布

原创最新推荐文章于 2023-07-30 21:59:46 发布 · 2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #DPN

深度学习论文笔记专栏收录该内容

2 篇文章

订阅专栏

本文深入探讨了ResNet与DenseNet的结构特点，揭示它们在 Higher Order RNN 框架下的联系。基于此，论文提出了DPN，一种融合两者优势的新型网络结构，既能高效利用参数，又能有效捕获新特征，实验证实在减少资源消耗的同时提升准确性。

（这篇论文是最新的网络结构的论文，故下载下来学习一下）
1 论文出处：image2017多项冠军，目前挂在arxiv上面
2 主要思路：
现在的网络结构，有resnet结构的，两个通路然后把feature map 相加的（add），也有两个通路然后把feature map 拼接（concat）在一起的（主要参考论文《Densely connected convolutional networks. arXiv preprint arXiv:1608.06993, 2016.》），作者在这篇论文中研究了这两种网络结构之间的数学联系，各自的优点和缺点，然后根据这两种网络结构的优缺点，提出了一种结合这两种网络结构的新的结构DPN（双通路网络结构），不仅提高了accuracy，而且消耗的资源更少。
3 详细分析
3.1 resNet类型的网络和denseNet类型网络之间的联系
作者从Higher Order RNN（HORNN）的角度给出了新的理解。
RNN的公式如下：
RNN公式
xt是网络在t step的输入，这里写图片描述 ,对于每个时刻t , 代表网络得到的特征，g则是激活函数，h便是网络的隐含层的输出。
对于HORNN，满足以下条件：

也即，在每个step中，权重是共享的。
而对于 denseNet 而言，满足这里写图片描述：不共享
即，在每个step 中权重是不共享的。
故可以认为，denseNet 由于权重不共享，更有利获取到新的特征。

对于resNet而言，如果将denseNet的参数不共享改成参数共享，即如下：

这里写图片描述
便是resnet了。
可以看出，resnet的参数在每个step中都是共享的，故认为，其特征是reuse（复用）的。
结合上面的简单分析，总结如下：
Resnet 和densnet都是特殊的HORNN，Resnet更有利于参数共享，而DenseNet更有利于获取新的特征，结合这两者的优点，则是新的网络DPN
3.2 DPN
为了利用这两种网络各自的优点，作者设计了一种双通道网络，同时结合Resnet的结构和DenseNet的结构。具体如下：
这里写图片描述
左边的网络是denseNet的结构，是利用concat来连接特征，右边的网络是Resnet结构，是利用add来连接特征。
实验证明，这种DPN在消耗更少的资源下，能够取得更好的结果。