笔记：Deep multi patch aggregation network for image style, aesthetics and quality estimation

最新推荐文章于 2024-02-21 20:49:37 发布
最新推荐文章于 2024-02-21 20:49:37 发布
阅读量2.7k 收藏 4
点赞数 3
分类专栏： D-feature 文章标签： multipatch style deep cnn column
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a1154761720/article/details/50700431
版权
本文介绍了一种利用多补丁（multi patch）表示高分辨率图像并进行风格、美学和质量估计的方法。通过在图像上提取多个补丁并进行特征学习和聚合，提出了统计聚合结构和完全连接排序聚合两种特征融合策略。在训练和测试阶段，使用CNN对每个补丁进行特征提取，并在聚合层进行相应的操作，最终通过全连接层输出用于分类的特征向量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在Image style, aesthetics and quality estimation三类任务中往往需要依靠更多的高像素(high resolution)图片中的细纹理(fine-grained)信息。通常CNN网络的输入是256*256*3的尺寸，通常的做法是，通常的做法是将一个高像素(比如1024*768)图片随机裁剪为一个patch，用这个patch表示整幅图像，这样会丢失掉其余部分的细纹理信息。本文用一个patch集合（multi patch）来表示整个图片。基于multiple patch，文章提出了一种特征学习以及聚集（aggregation）不同patch特征的框架。具体而言，首先在一个图片上提取多个patch，然后为每个patch做特征提取，将各个patch的特征进行聚集，从而得到用于分类的特征。在这个框架上，本文提出了两种用于特征聚集的方法，分别是statistics aggregation structure和fully-connected sorting aggregation。整个框架本文用下图表示：
这里写图片描述
这里的CNN表示下面结构中从input layer到fc256.（没有softmax层）
这里写图片描述
详细的步骤如下：
1） 对图像选择patch，构成patch集；训练阶段随机每个图像随机选取5个patch，测试阶段没个图片随机选取250个patch，每5个构成一个patches集合，作为第（2&

最低0.47元/天 解锁文章
Deep Layer Aggregation
qq_39323115的博客
05-23 2875
Deep Layer Aggregation主要应用于CV，PR等等方面。目前问题：这种任务中，通常既需要底层信息，又需要高层信息，以及分辨率的高低，etc。通常的做法时skip connection，但这种方法往往并不足够，怎样实现最合理的Aggregation，是作者主要讨论的问题，即fuse information across layers，可以iterative，也可以hierarchi...
Deep Layer Aggregation笔记
weeeeeida的博客
03-04 1330
论文地址：https://arxiv.org/pdf/1707.06484.pdf github地址：https://github.com/ucbdrive/dla 摘要： 提出了对特征图的compounding和aggregation可以改善特征图中是什么(what)和在哪里(where)的推断。（读者理解：在CBAM中，作者通过注意力机制，也是对what和where的研究。） 所以如何最好地a...
读论文，多区块处理：Deep Multi-Patch Aggregation Network forImage Style, Aesthetics, and Quality Estimation
daniaokuye的专栏
04-09 1298
Deep Multi-Patch Aggregation Network forImage Style, Aesthetics, and Quality Estimation 目的和一般方法想要研究图片的风格质量等，就需要细粒度fine-grained细节信息。对于本文提出的网络，使用一张图片生成的多个patches来训练。现有的方法如{24，17}，使用随机生成一个patch区块(e.g., c...
Multi-scale Patch Aggregation (MPA) for Simultaneous Detection and Segmentation 笔记
zjl-wgf
03-21 1337
Multi-scale Patch Aggregation (MPA) for Simultaneous Detection and Segmentation 摘要 我们提出了一个基于 mid-level patch 并且不需要产生 proposal 的框架 。利用快速有效的patch aggregation algorithm 产生patches ,基于这些patches 训练网络。由于不需
Deep Layer Aggregation实现
qq_276982536的博客
08-27 522
这里作者没写明白，他应该写出来T1(x)等于啥，序列你不列第一项不是有问题么，而且也没列上面的n是否要大于下面的m。 但是大概意识明白了我。 ...
Backbone：深层聚合网络：Deep Layer Aggregation（DLA）
Airs-Gao的博客
11-27 6194
Backbone：Deep Layer Aggregation（深层聚合网络，DLA） 论文网址：https://arxiv.org/abs/1707.06484 论文代码（pytorch）：https://github.com/ucbdrive/dla 参考博客：Deep Layer Aggregation----------论文理解 0. 摘要 DLA是一种融合深层网络的backbone结构。 通过更深层次的融合可以更好的聚合不同层的信息。 深层聚合结构以迭代和分层方式合并特征层次结构，使网络具有
论文笔记——Deep Layer Aggregation(DLA)
you2336的博客
10-12 1549
论文下载： https://arxiv.org/pdf/1707.06484.pdf 论文代码： https://github.com/ucbdrive/dla 论文摘要: 视觉识别需要丰富的表示,跨级别从低到高,范围从小型到大型,分辨率从细到粗。架构方面的工作在网络骨干维度的方面上逐渐有突破，人们都倾向于设计更深或更广的网络架构。但是作者认为如何在网络中最好地聚合层和块值得进一步的探索。在这个思路上，作者提出深层聚合方案(Deep Layer Aggregation)，通过更深层次的聚合来增..
论文阅读《Deep Layer Aggregation（DLA）》
AmbitionalH的博客
11-23 2185
Background ＆ Motivation Deep Layer Aggregation（DLA） layer、block 和 stage 之间的关系： Layers are grouped into blocks, which are then grouped into stages by their feature resolution. Fig.1 上图中的（b）与FPN 的做法相同但它不是 FPN，而是作为 backbone，也就是说（b）中的结构可以跟 FPN 结合起.
MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution论文笔记
Suan2014的博客
07-28 1260
论文链接：https://arxiv.org/abs/2007.11803 代码：未公开 ECCV2020 前言 当前VSR算法所存在的问题：1）通常采用光流来建立时间相关性，但是光流估计易有误，从而影响重建结果；2）VSR算法极少采用自然图像中本就存在的相似模式。 之前的VSR算法对对齐和回归两个阶段单独建模，本文将VSR看作帧内和帧间集成任务。本文所依据的现象：连续帧具有相似内容；同一帧内不同位置具有相似内容。 帧间相关性：为了验证作者的想法，实验设置：在MPI-Sintel Flow数据集上，用一.
DLA：Deep Layer Aggregation论文和代码学习
lavinia_chen007的博客
12-02 3482
文章目录论文学习Iterative Deep AggregationHierarchical Deep Aggregation网络结构![在这里插入图片描述](https://img-blog.csdnimg.cn/fb147ce654a845abb19414a581008bd3.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5qOu5bC85aup6LGG6IWQ,size_20,
【图像分类】Deep Layer Aggregation论文理解
qq_36926037的博客
04-13 1777
摘要   视觉识别：   视觉识别需要丰富的表征——跨度从低到高、尺度从小到大、分辨率从细粒度到粗粒度。即便在卷积网络中有深层的特征，但单独一层的特征是不够的：组合和聚合这些特征（表征）可以改进对“what”（什么）和"where"(哪里)的推断。   架构方面的工作：   架构方面的工作正在探索网络主干的许多维度——设计更深或更宽的架构，但是如何在网络中最佳的聚合层和块特征值得进一步关注。虽然在组合层中加入了跳跃连接，但这些连接本身是“浅的”，只通过简单的一步操作进行融合。   本文：   通过更深入的聚
Deep Layer Aggregation论文阅读
backer
11-25 1645
深层聚合 主要是解决深层网络中各层之间的联系问题，认为原来的“slip”太浅，不能很好的学习和保存原来的信息，于是提出DLA,分为IDA（迭代深度聚合）和HDA（分层深度聚合），使用更好的参数提高分辨率，前者统合分辨率和规模，遵循基础层次来逐步确定分辨率和聚合规模，后者合并所有模块和渠道的功能，汇集了自己的树状结构连接层次结构，这些连接交叉合并阶段以聚合不同级别的表示。DLA可广泛应用于大规模图像...
Deep Layer Aggregation----------论文理解
ruoruojiaojiao的博客
05-17 3965
1. 概述 视觉识别需要丰富的表示，从低到高，从小到大，从细到粗的分辨率。架构网络正在探索骨干网络以设计更深以及更宽的网络，但如何融合这些层以及这些块值得进一步的探讨。尽管已经提出了残差网络来组合层，但这些连接本身已经“浅”，并且仅通过简单的一步操作融合。我们认为通过更深层次的融合可以更好的聚合不同层的信息。我们的深层聚合结构以迭代和分层方式合并特征层次结构，使网络具有更高的准确性和更少的参数。...
论文解读VSR MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution 2020 ECCV
eight_Jessen的博客
01-06 1290
MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution GitHub地址 1.总结 这篇文章作者主要在于突出利用多帧输入里面帧间和帧内的信息，对此作者分别提出了Temporal Multi-Correspondence Aggregation Module 和 Cross-Scale Nonlocal-Correspondence Aggregation Module，相比于以往的视频超分，这两个模块的功能我认为可
《Deep Layer Aggregation》泛读记录
论文学习笔记-《Fast Online Object Tracking and Segmentation- A Unifying Approach》
07-28 593
文章目录概述DLA 深层聚合Iterative Deep Aggregation 迭代深度聚合Hierarchical Deep aggregation 分层聚合 概述 视觉任务理想的特征表示应该包含语义信息和空间信息，这样能更好地分类和定位。这样单独使用一层骨干网络特征层是明显不够的。已有多种网络模型使用组合、聚合的方式（FPN, DenseNet,…)，但FPN结构会受浅层特征影响，Dense...
Deep Layer Aggregation（CVPR 2018）原理与代码解析
00000cj的博客
02-21 1992
骨干网络的设计主要关注于设计出更深更宽的网络，但是如何更好的聚合不同layer和block的信息缺乏足够的关注。虽然skip connection已经被用来组合不同的网络层，但这些连接本身都是“浅层的”并且只是通过简单的单步操作进行融合。本文通过更深层的聚合来更好的实现跨层信息的融合，提出了深层聚合结构deep layer aggregation，通过迭代、分层级的合并特征，使得网络具有更高的精度以及更少的参数。
Recurrent squeeze-and-excitation context aggregation net for single image deraining
最新发布
03-13
### 循环挤压-激励上下文聚合网络在单张图像去雨中的应用 #### 网络结构概述 Recurrent Squeeze-and-Excitation Context Aggregation Network (RESCAN) 是一种专门针对单张图像去雨设计的深度学习模型。该网络旨在通过递归机制有效去除图像中的雨痕，从而提高图像质量[^3]。 #### 特征提取模块 输入含雨图像后，首先利用改进版 DenseNet 提取全局特征。此版本的 DenseNet 移除了转换层（1 Conv + 1 Pooling），因此不会执行下采样操作，有助于保留更多细节信息。 #### 子网工作流程 所提取的整体特征被送入多个并行工作的子网络中。每个子网络负责估算特定尺度下的雨纹图 \( R_i \)，并通过累加获得当前阶段总的雨纹图。随后，将原图与所得雨纹图做减法运算得出初步清理后的图片。上述过程会迭代多次，在每一新轮次里以前一轮处理过的影像作为输入继续优化直至最终产出完全无雨斑点的照片。 #### 关键组件分析 - **循环卷积层**：为了更好地捕捉时间序列特性以及增强记忆能力，采用了具备 ResNet 快捷链接特性的循环卷积单元。 - **Squeeze-and-Excitation (SE)**：引入 SE 结构可以自动调整通道间权重分配，使得重要区域获得更多关注资源，进而改善视觉表现力[^5]。 - **未使用 Batch Normalization**：考虑到 BN 可能破坏原有空间关联性，并且增加额外计算负担，故而在本框架内舍弃了这项技术。实验证明这样做不仅提升了性能指标还减少了约40% 的 GPU 显存占用量[^4]。 ```python import torch.nn as nn class RESCAN(nn.Module): def __init__(self, num_stages=4): super(RESCAN, self).__init__() # Define feature extraction module based on modified DenseNet without transition layers # Define recurrent sub-networks using recursive convolutional units with ResNet shortcuts # Implement squeeze-and-excitation mechanism to enhance channel-wise attention def forward(self, x): features = self.feature_extraction(x) rain_maps = [] clean_image = None for stage in range(num_stages): current_rain_map = self.sub_network(features) rain_maps.append(current_rain_map) if stage == 0: clean_image = x - sum(rain_maps) else: clean_image = clean_image - sum(rain_maps[stage:]) return clean_image ```
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值