论文笔记 - Multi-Scale Orderless Pooling of Deep Convolutional Activation Features

最新推荐文章于 2024-01-25 18:07:40 发布
翻译 最新推荐文章于 2024-01-25 18:07:40 发布 · 1.3k 阅读 · 0

提出一种名为MOP-CNN的方法，通过多尺度局部补丁提取CNN特征并进行无序VLAD池化，增强特征的几何不变性和鲁棒性。适用于图像分类和检索任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Abstract

CNN在图像识别应用上性能很好，但是全局CNN特征缺少几何不变性，这也限制了CNN对于在变化比较大的场景中国的分类以及匹配应用的鲁棒性。

  • 解决问题：在保证CNN特征的区分能力的同时，提高CNN特征的对各种不变性的鲁棒性。
  • 解决方案：MOP-CNN multi-Scale scale orderless pooling
  • 解决思路：在不同尺度上的局部 patch 上提取CNN特征，在不同尺度上分别对其进行无序的VLAD池化操作，将不同尺度上的池化之后的特征连接起来形成最终的特征
  • 结果：提取得到的特征可以应用在有监督或者无监督的识别任务中，比如图像分类、类级检索。
  • 比全局的CNN特征要好

Introduction

本文基于重用CNN特征，将其看作已有的特征来解决 whole-image tasks(比如分类或者检索)，但是本文关注的是通过融合从不同的 local image windows 提取的特征能够对网络的性能有所提高，而不仅仅是计算整张图像的CNN特征。

BoW 是 orderless 方法，对于图像缩放、旋转、遮挡等有鲁棒性，但是没有考虑到全局的空间信息。
SPM（spatial pyramid matching）空间金字塔模型

CNN网络中，原始图像经过整个网络，在每层之后生成特征图谱，然后利用特征图谱中相近的特征进行pooling操作，这样能够保留一些全局的空间特征。
经过了 filtering and max-pooling layers 以及 几个 fully connected layers，最终得到 4096 维的特征。很难推出全连接层的不变性，本文从实验上来证明最终得到的CNN特征对全局平移、旋转、缩放仍然很敏感。

如果没有考虑到这些不变性，实验证明会有一些准度度的损失。

BoW 在整张图像中计算特征点的分布特征，BoW 丢失图像的局部/细节信息，缺少的是空间位置信息，SPM 是在不同分辨率上统计图像特征点分布，从而获取图像的局部信息
CNN中有太多的空间信息，能够通过构建更无序的空间特征提高性能呢，平衡 orderless and globally ordered

  • 整体框架



    整体框架

    extracting deep activation features from local patches at multiple scales
    aggregate local patch responses at the finer scales via VLAD encoding
    连接所有的encoding得到最终的图像表示

分类： three image
datasets (SUN397, MIT Indoor Scenes, and ILSVRC2012/2013)
检索：on the Holidays dataset

The Proposed Method

想法类似于SPM，空间金字塔匹配，SPM是用于采样的batches的尺度不断增大。
MOP-CNN

Inspired by SPM , which extracts local patches at a single scale but then
pools them over regions of increasing scale, ending with the whole image
we propose a kind of \reverse SPM” idea, where we extract patches at multiple
scales, starting with the whole image, and then pool each scale without regard
to spatial information.

空间金字塔
SPM空间金字塔匹配模型
SPM——Spatial Pyramid Matching

特征表示有三个层次【256*256】【128*128】【64*64】
使用的是预训练的ImageNet网络

给定一幅图像或者一个patch，首先将其重采样为【256*256】像素，然后减去像素的平均值，然后将patch输入到网络中。第七层全连接层经过ReLU操作之后，得到输出的4096维的向量。

第一个level，简单地将【256*256】的图像输入到网络中，并得到4096维的CNN表示。
剩下的两个level，使用【128*128】【64*64】的patch，步长是 32 像素。然后对这些特征进行pool操作得到一个合适大小的向量。本文中的这个pool操作使用了VLAD pooling 方法。

在每个level中，对每个patch都提取得到4096维的特征。为了计算更有效使用PCA将其降维到500维。

在每个level，使用k-means方法得到k=100的聚类中心。所以可以得到VLAD描述子。
这里写图片描述

给定一个 500维度（第一次PCA）的patch特征以及100个k-means中心，最终可以得到50000维度的特征表示，维度仍然很高，所以再次使用PCA（第二次PCA）降维到4096维度。

最后将三个level得到的特征单位化，然后将他们连接起来组成最终的图像表示。

这里写图片描述

Analysis of Invariance

Large-Scale Evaluation

Datasets

  • SUN397
  • MIT Indoor
  • ILSVRC2012/2013
  • INRIA Holidays

Image Classi cation Results

这里写图片描述

这里写图片描述

Image Retrieval Results

这里写图片描述

这里写图片描述

refer

【神经网络结构的组成】一篇弄懂池化层Pooling
十二月的猫
10-09 2864
池化Pooling是卷积神经网络中常见的一种操作，其本质是降维。在卷积层之后，通过池化来降低卷积层输出的特征维度，减少网络参数和计算成本的同时，降低过拟合现象。Pooling层是模仿人的视觉系统对数据进行降维，人眼在观察复杂场景时，通常会通过关注最显著的特征来处理视觉信息，而Pooling层的功能也正是抽取图像中最重要的信息并进行有效降维。池化的本质是降维，池化的原则是提取最重要的信息。基于如何提取最重要的信息有许多不同的观点，因此就产生了许多不同池化层。
Multi-scale Features for Approximate Alignment of Point-based Surfaces论文阅读
yucong96的博客
03-30 318
问题 给定一个点云描述（P={(pi,ni)}i∈I\mathcal{P}=\{(\mathbf{p}_{i}, \mathbf{n}_{i})\}_{i \in \mathcal{I}}P={(pi​,ni​)}i∈I​，其中pi\mathbf{p}_ipi​是点的位置，ni\mathbf{n}_{i}ni​是点的法向）的曲面（surfel cloud），求曲面特征。 基本思路 先对曲面做不同尺...
论文阅读：Multi-scale orderless pooling of deep convolutional activation features
Cheese_pop的博客
08-17 826
2014年ECCV Motivation 以往的图像分类，关注的信息可能更容易被干扰。比如下图中的（a），groundtruth应该是滑雪（ski），但是由于一些其他信息的干扰，导致红框中框出来的部分被分类为shovel，篮框中被认为是阿尔卑斯山，那么这篇论文就是基于这样一个motivation，试图关注图像中更细节的信息。 Basic Idea Multi-sca...
Multi-Scale Orderless Pooling of Deep Convolutional Activation Features
woyaopojie1990的专栏
08-14 5220
学习笔记之《Multi-Scale Orderless Pooling of Deep Convolutional Activation Features》
[DeCAF]DeCAF: A Deep Convolutional Activation Featurefor Generic Visual Recognition
Jinming Su
08-15 1608
基本情况ICML 2014的文章， arXiv:1310.1531 [cs.CV].主要通过实验证明transfer learning的可行性. Abstract本文评估从大型固定的一组对象识别任务中以完全监督的方式训练的深卷积网络的激活提取的特征是否可以重新利用到新的通用任务.在很多情况下，由于没有足够的标注或者未标注的数据来常规地训练一个深度结构用于新的任务（这会导致过拟合），因此本文尝试把提
Multi-scale orderless pooling of deep convolutional activation features
家家的专栏
05-15 3050
Multi-scale orderless pooling of deep convolutional activation features
ScarfNet: Multi-scale Features with Deeply Fused and Redistributed Semantics
weixin_36670529的博客
05-11 682
1、已经存在的特征金字塔方法 为了检测到变化尺寸的目标，基于特征金字塔的检测器，在不同特征层之间，基于在k特征图上的决策，例如下图(a)所示，基线检测器使用在特征层上的特征图。 其中。其中是骨干网络产生的特征图，是从后来的卷积层由底向上得到。代...
639-Multi-scale Orderless Pooling of Deep Convolutional Activation Features.pdf
03-29
Deep convolutional neural networks (CNN) have shown their promise as a universal representation for recognition. However, global CNN activations lack geometric invariance, which limits their ...
论文笔记《Multi-scale Orderless Pooling of Deep Convolutional Activation Features》
July's Pensieve
05-15 4093
文章提出一种基于多尺度滑窗的CNN特征的编码方法。1 Information发表会议：ECCV2014相关链接：作者主页 项目主页2 MotivationGloabl CNN：编码了图片的空间结构信息，对类内差异容忍度差，globally orderedBOW：完全丢失图片的空间结构信息，orderless对于场景分类问题，我们希望一个在小的region，空间结构globally ordere
SPPNet论文翻译-空间金字塔池化Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
mengduanhonglou的专栏
11-07 4682
当前深度卷积神经网络（CNNs）都需要输入的图像尺寸固定（比如224×224）。这种人为的需要导致面对任意尺寸和比例的图像或子图像时降低识别的精度。本文中，我们给网络配上一个叫做“空间金字塔池化”(spatial pyramid pooling,)的池化策略以消除上述限制。
多尺度无序池化卷积神经网络——MOP-CNN（MultiScale Orderless Pooling）
lhaof的博客
03-09 8170
本文讲解的是Yunchao Gong发表在2014年的ECCV会议上的，“Multi-Scale Orderless Pooling of Deep Convolutional Activation Features”，中文译名是深度卷积激活特征的多尺度无序池化，其中提出了一种多尺度无序池化卷积神经网络，简称是MOP-CNN，下文称为MOP。 暂时写到这，稍后补充。
【论文笔记】Multi-scale Feature Fusion：Learning Better Semantic Segmentation for Road Pothole Detection
m0_61899108的博客
02-07 4752
论文 论文题目：MULTI-SCALE FEATURE FUSION: LEARNING BETTER SEMANTIC SEGMENTATION FOR ROAD POTHOLE DETECTION 发表于：CVPR 2021 论文地址：https://arxiv.org/pdf/2112.13082.pdf 摘要 本文提出了一种基于单模态语义分割的新型坑洼检测方法。它首先使用卷积神经网络从输入图像中提取视觉特征，然后通道注意力模块重新加权通道特征以增强不同特征图的一致性。随后，研究者采
《Learning Deep Structured Multi-Scale Features using Attention-Gated CRFs for Contour Prediction》
gwpscut的博客
05-31 732
本博文为阅读笔记 由于最近要阅读大量的论文，仅仅以简略的方式记录论文的阅读笔记。 本文是关于（contour detection）轮廓检测 本文的两个亮点： 1、multi-scale feature generation and fusion。产生更丰富和互补的表示的hierarchical deep model（分层深层模型） 2、为了细化和牢固地融合在不同尺度上学习到的特征，本文...
多尺度特征融合13种创新方案全面汇总，含2024年最新
最新发布
学姐带你玩AI的博客
01-25 2万+
前段时间和大佬朋友交流学术的时候，发现目前发论文最好用的。上回我们讲过了加注意力机制，今天我们就来聊聊多尺度特征融合。多尺度特征融合是一种在图像处理和CV中使用的技术，由于其在各种任务中都通用，并且对改善识别、分类或检测任务的性能都非常有用，所以成了我们发paper的必备创新点。这次我就和同学们分享，分了4个大方向：自适应多尺度特征融合机制、基于图神经网络的多尺度融合、注意力引导的多尺度特征融合以及端到端的多尺度特征学习。论文原文以及开源代码合集看文末。
DeCAF: A Deep Convolutional Activation Featurefor Generic Visual Recognition阅读报告（1）
lioncv的专栏
09-30 3489
1、问题描述 利用深度神经网络进行特征的提取和分类取得了很好的效果。在很多视觉会议的竞赛上，CNN（卷积神经网络）的方法效果都不错。一些“基准”的数据集例如：Caltech-101（Fei-Fei et al., 2004），办公室内区域数据集（Saenko et al., 2010）Caltech-UCSD鸟类纹理识别数据集（Wnlinder et al., 2010）以及SUN-397场
DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition 一般视觉识别的深度卷积刺激特征
zzq123686的专栏
03-14 3075
DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition 一般视觉识别的深度卷积刺激特征 Abstract 摘要 We evaluate whether features extracted from the activation of a deep convoluti
多尺度（multi-scale）目标检测方法
qq_42178122的博客
07-07 2801
多尺度图像预测 将图片进行不同尺度的缩放，得到图像金字塔，如果对每层图片提取不同尺度的特征，得到特征图。最后对每个尺度的特征都进行单独的预测。 特点：不同的尺度的特征都可以包含很丰富的语义信息，精度高，但是速度慢。 2.金字塔特征预测 将输入的图片转变成feature map，在feature map层面上来进行尺度变换，采用不同的方法进行不同尺度特征的融合，以实现多尺度检测。 2.1 FPN 特征金字塔网络：将低层的特征和高层的特征融合起来，在不同的特征层进行预测。 2.2 SSD 从网络不同层抽取不.
Body estimation 论文阅读笔记（2）：OmniPose： A Multi-Scale Framework for Multi-Person Pose Estimation
qq_42902997的博客
01-12 2578
优势贡献 结合了多尺度的特征 multi-scale features 引入了一个提升过的 waterfall 结构，可以在保持特征图高分辨率的情况下增大感受野FOV,这个提升过后的 waterfall 结构称为 waterfall Astrous Spatial pooling（WASPv2），它既扮演特征提取器，也扮演 decoder 通过引入高斯热图调制(Gaussian heatmap modulation)方法来帮助进行 joint 坐标点的定位，可以使 upsampling 过程中的 poin
深度学习为什么需要那么多的数据？
老潘的博客
10-21 5994
关于访问Oldpan博客，分享人工智能有趣消息，持续酝酿深度学习质量文。 前言 深度学习近两年来发展极为迅速，在计算能力大大提高的情况下，很多深度学习方向的思想都得以实现。但是，深度学习有一个令人头疼的缺点，那就是需要大量样本来进行训练才能达到较好的泛化。 虽然我们有迁移学习可以适当减少我们需要的数据量，亦或者，我们可以通过数据增强的方式来翻倍我们的数据： imgua,强大的图像增强工具 图...
multi-label attention (MLA)
07-28
引用\[1\]中提到了两种动态排序ground truth标签的方法，即predicted label alignment (PLA)和minimal loss alignment (MLA)。这些方法可以用于多标签分类任务中，其中RNNs在处理可变长度的序列数据时表现出良好的性能。然而，由于RNNs产生的输出是顺序的，所以需要对多标签进行排序。引用\[2\]中提到了多标签分类任务的挑战在于标签之间的不确定关系，而RNNs可以自然地处理标签之间的关系模式。为了训练模型，需要使用包含图像和标签集的数据集。其中，一个数据对包含一张图像和n个标签，标签集包括开始和结束标记。\[3\] #### 引用[.reference_title] - *1* *2* *3* [Orderless Recurrent Models for Multi-label Classification (CVPR2020)](https://blog.youkuaiyun.com/language_zcx/article/details/105948063)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值