论文笔记:Dual Skipping Networks 双跳网络

本文介绍了受生物神经机制启发的双跳网络,该网络通过学习跳过机制,实现粗略信息与精细视觉刺激的快速预测。论文详细探讨了模型结构,包括Skip-Dense Block和Gating Network,以及它们在物体分类任务中的应用,展示了一种新颖的层可跳跃网络设计,可以同时处理粗粒度和细粒度分类问题。

Changmao Cheng1∗, Yanwei Fu2∗, Yu-Gang Jiang1†,
Wei Liu3, Wenlian Lu4, Jianfeng Feng4, Xiangyang Xue1
1 School of Computer Science, Fudan University 3 Tencent AI Lab
2 School of Data Science, Fudan University 4 ISTBI, Fudan University

1. 介绍:

神经学公认人的视觉是从粗到细的,右脑粗左脑细。

对于快速闪过的图像,我们大概只能看到低频信息。定睛观察,才能看到高频信息。

我们很自然地会问,我们的网络是否具有用短路径预测粗略信息和用长路径预测精细视觉刺激的机制

接下来就是说生物神经是如何启发我们的。

我们提出一个附属门控网络,它学习预测在测试阶段是否跳过几个卷积层。

与DenseNets和ResNets中使用的快捷连接不同,我们学习了跳层机制来预测在测试阶段是否跳过一个特定层。跳层机制的灵感来自于一次性认知过程中,人脑中只有1%的神经元被使用[28]。

 

3. 模型

双跳网络如图所示这两个子集与相同的视觉输入共享,并且构建在几种类型的模块上,即,共享卷积层、跳过密集块、转换层、池和分类层。本节讨论了每个砌块的动力和结构。

每个skip-dense block包含很多密集链接的

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值