ICCV2017——CoupleNet: Coupling Global Structure with Local Parts for Object Detection

Couple Net论文阅读笔记 CoupleNet: Coupling Global Structure with Local Parts for Object Detection背景:R-FCN在利用了FCN之后,目标检测的效果仍然十分可观并在速度上有较大提升,比faster r-cnn快2.5-20倍,R-FCN利用的是卷积产生的位敏得分feature map(一个ROI的k*k个位置对每一类均产生一个score map),基 阅读详情

CoupleNet: Coupling Global Structure with Local Parts for Object Detection

学习CoupleNet,这个网络结构就是使用全局上下文和局部上下文进行融合,检测。

在最近的一些论文中我也看到过这么的操作,但是他们的出发点都应该是来自于这一篇论文。

所以学习CoupleNet是如何进行检测,如何进行局部上下文和全局上下文的融合的至关重要。

学习CoupleNet主要抓住以下问题:

  • CoupleNet是基于RFCN进行改进的,首先要掌握Faster RCNN和RFCN;

  • CoupleNet中关于全局上下文信息是如何提取的?

  • CoupleNet中局部上下文信息是如何提取的?

  • CoupleNet中局部上下文和全局上下文是如何进行融合来增强检测的?

  • CoupleNet中还存在着哪些缺陷?
    在这里插入图片描述

我决定做完实验之后 对CoupleNet进行代码的学习,从代码层面研究和掌握CoupleNet。

首先从论文层面来解释上面提出的几个问题

Global FCN

在这里插入图片描述

For the global FCN, we aim to describe the object by using the whole region-level features.

Firstly, we attach a 1024-d 1x1 convolutional layer after the last convolutional block in ResNet-101 for reducing the dimension. Due to the diverse size of the object, we insert a RoI pooling layer in [8] to extract a fixed-length feature vector as the global structure description of the object.

如何获取global structure description of the object ?
文中也描述了:

To enhance the feature representation ability of the global FCN, 
here we introduce the contextual information as an effective supplement. 
Specifically, we extend the context region by 2 times larger thanthe size of original proposal. 
Then the features RoI pooled from the original region and context region are concatenated together and fed into the latter RoI-wise subnetwork

Secondly, we use two convolutional layers with kernal size k × k and 1 × 1 respectively (k is set to the default value 7) to further abstract the global representation of RoI. Finally, the output of 1x1 convolution is fed into the classifier whose output is also a (C + 1)-d vector.

总结来说:
上方的ROI pooling根据region proposal的大小得到一个(C+1)channel的feature map,
K表示把region在平面上分成K*K个cells,C表示类别数量,1代表背景background。

下方的ROI pooling根据region proposal的大小外扩1倍得到一个一个(C+1)channel的feature map。

然后两个ROI pooling得到的特征图在channel维度进行concat,

之后经过一个kk的卷积和1个11的卷积

local FCN

这一部分就是RFCN的操作

通过位置敏感的ROI pooling得到K*K(C+1)个channel的特征图进行vote得到C+1个channel的特征图,
这个尺寸和global pooling得到的特征图维度一致。

局部上下文和全局上下文如何进行融合?

在这里插入图片描述

CoupleNet存在哪些问题?

以后再说。

代码,最近读了再放

论文阅读-《CoupleNet:Coupling Global Structure with Local Parts for Object Detection》 中科院nlpr实验室 ICCV20171.Motivation这篇文章主要是在R-FCN的基础上改的。其主要的观点就是R-FCN可以看成是对一个proposal,用一些position-sensitive的weak classifier去做检测,然后把这些classifier的检测结果ensemble起来(position-sensitive RoI pooling),因此作者指出这张方法没有考虑到 阅读详情

相关推荐

SKnet:Selective Kernel Networks学习笔记+Pytorch代码实现

论文题目:Selective Kernel Networks 发表于 CVPR 2019 论文地址:https://arxiv.org/pdf/1903.06586.pdf 作为一下对比,这里再附上SEnet的结构图: 总结:SK注意力机制和SE注意力机制的不同之处: SE注意力只是在通道上施加MLP学习权重,来体现每个权重之间的重要性差异; SE注意力机制只需要用到一个全局池化和两个全连接层; SK注意力机制是SE注意力机制的升级版,特色之处体现在通过网络自己学习来选择融合不同感受野的特征图信息;

practical_sharp的博客 1万+

CoupleNet

目录1. Motivation2. CoupleNet2.1 整体结构2.2 Normalization2.3 Coupling strategy 论文:CoupleNet: Coupling Global Structure with Local Parts for Object Detection 来源:ICCV 2017 1. Motivation R-FCN使用位置敏感得分图( position-sensitive score maps)实现共享计算,提高了目标检测速度,但是,R-FCN的PSRo

dekiang 943

CoupleNet:Coupling Global Structure with Local Parts for Object Detection

该篇是对CoupleNet论文的解读,以及自己的一些看法,若有 不同希望指出。谢谢

目标检测系列:couplenet

论文链接:CoupleNet: Coupling Global Structure with Local Parts for Object Detection 文章目录1.Introduction2.CoupleNet2.1网络结构3.实验总结 1.Introduction 本文算是RFCN的一个改进方法,RFCN提出在目标检测中引入位置敏感得分图,去除了ROIPooling后不共享的部分,在速度...

qq_39068872的博客 817

嵌入式Linux Qt/QML开发实战:从Buildroot配置到应用部署

本文详细介绍了嵌入式Linux Qt/QML开发全流程,从Buildroot系统配置、交叉编译工具链搭建到应用部署与调试。以RK3506开发板为例,提供实战指南,帮助开发者高效完成嵌入式应用开发,解决常见环境配置与性能优化问题。

m2n3o4p5的博客 231

手把手教你用GEM-2多频电磁仪找地下管道(附真实数据图)

本文详细解析了使用GEM-2多频电磁仪精准定位地下管线的全流程,包括设备调试、频率选择、现场扫描技巧及数据解读。通过真实案例展示了如何应对复杂干扰环境,提升管线检测效率与准确性,特别适合市政工程和地下管线普查。

weixin_42565652的博客 404

Couplenet

CoupleNet[41]针对R-FCN算法没有考虑到region proposal的全局信息和语义信息的问题,2017年中科院自动化所提出CoupleNet[41]算法,其在原来R-FCN的基础上引入了proposal的全局和语义信息,通过结合局部、全局以及语义的信息,提高了检测的精度。作者是通过将ROI对应的feature map往外扩大一倍的方式获取。 ref https://blo...

qq_35608277的博客 886

从SPI协议到文件系统:手把手教你用HAL库给W25Q16移植FATFS(附扇区管理优化方案)

本文详细介绍了如何在STM32平台上,通过HAL库的SPI接口为W25Q16 Flash芯片移植FATFS文件系统。文章从SPI通信基础讲起,深入解析了FATFS底层驱动(diskio.c)的移植要点,并重点探讨了针对W25Q16的4KB物理扇区特性进行扇区管理优化的两种方案,旨在帮助开发者构建稳定高效的文件存储方案。

happy2的博客 1046

干货 | 深度学习时代的目标检测算法

AI 科技评论按:本文作者 Ronald,首发于作者的知乎专栏「炼丹师备忘录」,AI 科技评论获其授权转发。目前目标检测领域的深度学习方法主要分为两类:two stage 的目标检测算法;one stage 的目标检测算法。前者是先由算法生成一系列作为样本的候选框,再通过卷积神经网络进行样本分类;后者则不用产生候选框,直接将目标边框定位的问题转化为回归问题处理。正是由于两种方法的差异,在性能上也有...

人工智能 2万+

微信小程序 - 实现大文件上传分片/切片+本地选择文件上传超大文件,小程序大文件切片上传+断点续传+上传进度条+失败自动重传完整运行示例源码,支持图片、视频、文档各种文件(支持上传单个文件或批量上传)

微信小程序实现大文件上传,实现分片大文件上传,微信小程序 分片 断点续传 大文件上传,微信小程序实现大文件上传 分片上传 进度条,小程序文件分片上传,微信小程序如何上传很大的文件,在选择文件后,按指定大小将文件切割成独立的文件片,并逐片上传,uniapp 微信小程序上传大文件如何切片,微信小程序实现大文件分片上传、断点续传、秒传,解决大文件上传问题,大文件上传如何做断点续传,微信小程序wx.uploadFile,小程序上传视频,小程序上传文档,实现大文件上传(切片上传)实现大文件上传到服务器教程,支持批量多

🏆 前端领域优质创作者 1万+

基于FPGA的UDP 通信(六)

本文基于FPGA和MATLAB对千兆以太网通信模块UDP数据发送(FPGA发送)进行联合调试。

记录所学,分享知识,结识挚友 4730

目标检测--Object Detection via Aspect Ratio and Context Aware

Object Detection via Aspect Ratio and Context Aware Region-based Convolutional Networkshttps://arxiv.org/abs/1612.00534本文针对目标检测问题在 R-FCN基础上提出了 ARC-RCNN,主要改进是使用了Aspect Ratio 和 Context 这两个信息。 通过增加计算量来提升

AI小作坊 的博客 2149

北斗导航 | 2023 PTTI会议论文 2023 ITM会议论文 2022 ION GNSS+ 会议论文下载:ION 美国导航学会

2023 国际技术会议(ITM) 2023 精密时间和时间间隔系统和应用会议(PTTI) 2022 美国导航学会国际会议(ION GNSS +)

尘世冰封的专栏 4619

Object Detection目标检测全面总结--重要

原地址:https://handong1587.github.io/deep_learning/2015/10/09/object-detection.html Object Detection  Published: 09 Oct 2015  Category: deep_learning Jump to... Papers R-CNNFast R-CNNFas

cym1990的专栏 7870

药物相关 PK(药代动力) 、PD(药效)指标知识

PK代表药物的药代动力学,指的是药物在体内的吸收、分布、代谢和排泄等过程,包括药物的药代动力学参数如Cmax(最大血药浓度)、Tmax(最大血药浓度出现的时间)、t1/2(半衰期)、AUC(药物曲线下面积)等。PD代表药物的药效学,指的是药物与生物体相互作用所产生的药理效应,包括药物的药效学参数如EC50(半数最大有效浓度)、ED50(半数最大效应剂量)、Emax(最大效应)等。PD(Pharmacodynamics)则研究药物的药效学特性,如药物的作用机制、效力、最大疗效、最小毒性等。

weixin_42357472的博客 2万+

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

论文阅读-《Objects as context for part detection》

Abel Gonzalez-Garcia arxiv 28/3/2017Abstract本文提出了一种利用object context信息的part detection的方法。作者主要用到了三种object-level的信息:object class–object appearance–relative location of parts in objects 其中object class以及ob

yj_isee的博客 1416

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

目标检测分割--BlitzNet: A Real-Time Deep Network for Scene Understanding

BlitzNet: A Real-Time Deep Network for Scene Understanding ICCV2017 Project: http://thoth.inrialpes.fr/research/blitznet/ Code: https://github.com/dvornikita/blitznet本文在 SSD 基础上改进提出 BlitzNet,使其

AI小作坊 的博客 4893

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

DeepLearning.ai笔记:(4-3)-- 目标检测(Object detection)

title: ‘DeepLearning.ai笔记:(4-3)-- 目标检测(Object detection)’ id: dl-ai-4-3 tags: dl.ai categories: AI Deep Learning date: 2018-10-11 17:02:09 首发于个人博客:fangzh.top,欢迎来访 这一周主要讲了卷积神经网络的进一步应用:目标检测。 主要内容有:...

Fangzh的技术博客 967

目标检测(Object Detection)总览

http://www.tongtianta.site/group?group_id=1 https://blog.youkuaiyun.com/u014380165/article/details/80784147 《An Analysis of Scale Invariance in Object Detection - SNIP》 arXiv:https://arxiv.org/abs/1711....

qq_35608277的博客 3186

计算机视觉中的注意力模块———CBAM

CBAM: Convolutional Block Attention Module 本篇文章录用于ECCV2018:CBAM:卷积块注意模块 论文地址:https://arxiv.org/pdf/1807.06521.pdf 非官方代码实现:https://github.com/Youngkl0726/Convolutional-Block-Attention-Module/blob/master/CBAMNet.py 摘要: 本文提出了卷积attention模块,一种简单而有效的前馈卷积神经网络

practical_sharp的博客 9108

关于CBAM模块在ResNet18上的使用:用于MNIST数据集分类

昨天学习了CBAM模块和ACNet。 今天就想试一下CBAM模块的效果,所以编写了代码在MNIST数据集上做分类任务,但是看不出什么差别,而且没加CBAM模块的效果反而好一些。 我觉得原因可能是因为数据集太小了没法做到这一点,改天在VOC数据集上试一试效果看看如何。 今天先把实验结果报道一下,学习率,epoch次数和batch_size的大小完全保持不变 先上Pytorch代码 import torch import torch.nn as nn import torch.nn.functional as

practical_sharp的博客 5733

CVPR2021—— Coordinate Attention for Efficient Mobile Network Design

Coordinate Attention for Efficient Mobile Network Design 这是一篇基于SE和CBAM的改进注意力机制。 性能比SE和CBAM要好一些。 SE模块只是在通道上施加了权重,而忽略了位置信息。 本文中,提出一种novel的注意力机制,使用两个1D的pooling捕捉水平和垂直方向的注意力特征编码。 话不多说了。直接上图。 懂的人都懂: (a)是SE模块, (b)是CBAM模块 ©是本文提出的CA模块。 很明显看出,CA模块和前二者的区别在于将一个2D的p.

practical_sharp的博客 5368

基于ACNet构建ResNet50backbone的Pytorch代码实现

ACNet是什么? [1]X. Ding, Y. Guo, G. Ding etal.“ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks” in ICCV 2019 推荐博客:https://blog.youkuaiyun.com/practical_sharp/article/details/114671943 Overview of ACNet. For example,

practical_sharp的博客 4760

目标检测中的NMS,soft NMS,softer NMS,Weighted Boxes Fusion

NMS 非最大值抑制算法,诞生至少50年了。 在经典的两阶段目标检测算法中,为了提高对于目标的召回率,在anchor阶段会生成密密麻麻的anchor框。 所以在后处理的时候,会存在着很多冗余框对应着同一个目标。 因此NMS就是后处理中去除冗余框的必不可少的步骤。 NMS算法的具体流程: 输入 boxes,scores, iou_threshold step-1:将所有检出的output_bbox按cls score划分(如pascal voc分20个类,也即将output_bbox按照其对应的cls

practical_sharp的博客 3015
上一篇: CVPR2021—— Coordinate Attention for Efficient Mobile Network Design
下一篇: pytorch卷积网络特征图可视化
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值