论文笔记:Multi-Scale Dense Networks for Resource Efficient Image Classification

Multi-Scale Dense Networks for Resource Efficient Image Classification

[ICLR2018 oral]
原文链接:传送门

目录

问题

  • 在近几年的视觉物体识别任务上,有的物体很容易就可识别出来,而有的被遮挡的物体或者由于拍摄角度诡异,而很难识别的物体,在test的时候回消耗同样的计算资源。这对于大型的数据集来说,会产生会多不必要的计算资源浪费。
  • 在一般的卷积神经网络中,倒数第二层的特征将直接输入到最后一层进行分类,其他层的特征将被忽视。
  • 不同的卷积神经网络的层包含不同级别的scale信息。我们应该充分利用低维和高维特征。

解决方法

  • 把每层的layer都连接到classification层

  • 创建一个multi-scale的网络框架,让每层都包含不同的scale信息。

本文所创建的网络叫做Multi-Scale DenseNet (MSDNet)。
网络模型框架,自行参考原文figure 2.

个人理解

  • 分类器的分类准确率与它使用第几层产生的feature来训练分类器有关。
  • multi-scale feature maps来解决这个问题。 水平方向的connectio
### 多尺度密集网络在深度高动态范围成像中的应用 多尺度密集网络(Multi-Scale Dense Networks, MSDNets)通过引入不同尺度的感受野,在处理图像时能够捕捉到更多的细节信息。这种特性使得MSDNets非常适合用于深高动态范围(Deep High Dynamic Range Imaging, Deep HDR Imaging)。HDR技术旨在扩展传统低动态范围(LDR) 图像的亮度范围,从而更真实地反映现实世界的光照条件。 #### 应用背景 传统的单张LDR照片无法充分表示场景中存在的极端亮暗对比度变化。为了克服这一局限性并实现高质量的HDR重建,研究人员探索了多种方法和技术。近年来,基于卷积神经网络(CNNs)的方法逐渐成为主流解决方案之一[^1]。 #### 实现原理 MSDNet利用其独特的架构设计来增强特征提取能力: - **跨层连接**:每一层都与其后的所有层次相连,形成密集连接模式; - **复合增长率**:随着网络加深而逐步增加通道数,有助于保持梯度流动稳定性和参数效率; - **多分支结构**:允许模型在同一时间学习多个分辨率下的表征,进而提高对于复杂光影效果建模的能力; 这些特点共同作用下,使MSDNet能够在输入几张曝光不同的LDR图片作为训练样本的情况下有效地预测出对应的HDR图像[^2]。 ```python import torch.nn as nn class MultiScaleDenseBlock(nn.Module): def __init__(self, num_layers=8, growth_rate=32): super(MultiScaleDenseBlock, self).__init__() layers = [] for i in range(num_layers): layer = _make_layer(in_channels=i*growth_rate + input_channels, out_channels=growth_rate) layers.append(layer) self.block = nn.Sequential(*layers) def _make_layer(in_channels, out_channels): return nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=(3, 3), padding='same') ``` 此代码片段展示了如何构建一个多尺度密集块的基础框架,其中包含了若干个由卷积操作组成的子模块。实际应用中还需要加入批量归一化(Batch Normalization),激活函数(ReLU)等组件以完善整个网络的设计。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值