RCNN,Fast RCNN, Faster RCN解析

最新推荐文章于 2022-01-16 18:12:29 发布
原创 最新推荐文章于 2022-01-16 18:12:29 发布 · 774 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章目录

Region Proposal + CNN（R-CNN）

关于定位问题主流有两个思路

  1. 直接回归边框值
  2. 使用图像框回归
    这个方法延续了使用图像框回归的思路

Region Proposal

该思路是先利用图像的浅层信息（纹理、边缘、颜色等）预先找到图中可能出现的位置，这样可以在较少的候选框中保持较高的召回率（Recall），即候选框是真正有用的。
本文只讲述实际论文中使用的方法，其他方法对比可以查看PAMI2015的“What makes for effective detection proposals？”，在另外的一篇再详细讲解候选框生产方法总结

步骤

  1. 在图片上使用Selective Search提取2000个左右的Region Proposal；
  2. 统一缩放（warp）为 [ 227 × 227 ] [227 \times 227] [227×227]
  3. 每个候选框都接一个CNN网络，CNN的末端输出作为特征
  4. CNN提取的feature输入到SVM进行分类
  5. 做Box regression
    转自https://blog.youkuaiyun.com/sonnyxin/article/details/84112212

改进及缺陷

改进
  1. 摆脱了穷举方法
缺陷
  1. 每个框都需要进行CNN提特征+SVM分类，计算量很大，导致R-CNN检测速度很慢，一张图都需要47s

Spatial Pyramid Pooling（SPPNet）

RCNN的致命缺陷在于对一张图像做了过多的卷积特征抽取，那么我们完全做如下操作

  1. 对图像提一次卷积层特征，
  2. 将region proposal在原图的位置映射到卷积层特征图上，
  3. 然后将每个region proposal的卷积层特征输入到全连接层做后续操作。

这样的问题在于全连接层需要固定的输入，但是上述并没有warp或者剪切截取操作，训练由于最终特征的维度不一致导致无法训练，由此引出SPPNet

既然由于全连接FC层的存在，普通的CNN需要通过固定输入图片的大小来使得全连接层的输入固定。那借鉴卷积层可以适应任何尺寸，为何不能在卷积层的最后加入某种结构，使得后面全连接层得到的输入变成固定的呢？

解析

首先是使用了上述的单次卷积

  1. 原图进行一次卷积计算，得到整张图的卷积特征feature map;
  2. 然后找到每个候选框在feature map上的映射patch，
  3. 将此patch作为每个候选框的卷积特征输入到SPP layer

然后目标是统一feature尺寸，在SPP layer中每一个pooling的filter会根据输入调整大小，而SPP的输出则是固定维数的向量，然后给到全连接FC层。

Fast R-CNN

Fast RCNN在RCNN基础上，引入SPPNet

在这里插入图片描述

步骤

  1. 在图片上使用Selective Search提取2000个左右的Region Proposal；
  2. 接一个CNN网络，CNN的末端输出到ROI pooling；
  3. ROI pooling 统一尺寸为 [ 7 × 7 ] [7 \times 7] [7×7]
  4. softmax 做分类，+ box regression，region分类和并成为了一个multi-task模型，实际实验也证明，这两个任务能够共享卷积特征，并相互促进

解析

最后一个卷积层后加了一个ROI pooling layer

ROI pooling layer实际上是SPP-NET的一个精简版，SPP-NET对每个proposal使用了不同大小的金字塔映射，而ROI pooling layer只需要下采样到一个7x7的特征图。对于VGG16网络conv5_3有512个特征图，这样所有region proposal对应了一个77512维度的特征向量作为全连接层的输入

损失函数使用了多任务损失函数(multi-task loss)，将边框回归Bounding Box Regression直接加入到CNN网络中训练

边框回归
什么是边框回归

贡献

看到了Region Proposal + CNN这一框架实时检测的希望

Faster R-CNN

Faster要解决的就是Fast存在的问题

Select search
解决： 加入一个提取边缘的神经网络，也就说找到候选框的工作也交给神经网络来做(RPN)
在这里插入图片描述

Region Proposal Network(RPN)

  1. Fast R-CNN中引入Region Proposal Network(RPN)替代Selective Search
  2. 引入anchor box应对目标形状的变化问题（anchor就是位置和大小固定的box，可以理解成事先设置好的固定的proposal）
  3. 将RPN放在最后一个卷积层的后面
  4. RPN直接训练得到候选区域

一种网络，四个损失函数;
•RPN calssification(anchor good.bad)
•RPN regression(anchor->propoasal)
•Fast R-CNN classification(over classes)
•Fast R-CNN regression(proposal ->box)
在这里插入图片描述

步骤

  1. 对整张图片输进CNN，得到feature map
  2. 卷积特征输入到RPN，得到候选框的特征信息
  3. 对候选框中提取出的特征，使用分类器判别是否属于一个特定类
  4. 对于属于某一类别的候选框，用回归器进一步调整其位置

总结

R-CNN（Selective Search + CNN + SVM）
SPP-net（ROI Pooling）
Fast R-CNN（Selective Search + CNN + ROI）
Faster R-CNN（RPN + CNN + ROI）

Ubuntu下运行Faster-Rcnn
JustGuess
09-16 1万+
Ubuntu下运行Faster-RcnnFaster-Rcnn 介绍前几天Shaoqing Ren放出了Faster-Rcnn的代码，可以在他的Github上下载得到，上面也有详细的配置说明。 我下载下来，在自己的虚拟机上测试了一下，速度上确实比之前的Fast-Rcnn有提高。SPP-Net，Fast-Rcnn，Faster-Rcnn都是在Ross Girshick2014年发布的RCNN上面的改
Faster R-CNN
HY的博客
10-28 6684
上文提到的k就是anchors的数量，所以2k个分数就是9个anchors的共18个分数，36（4×9）个坐标。这个2k score只区分是不是目标，输出候选区域属于前景（物体）和背景的分数，这里注意，这里的分类只区分是否包含目标，至于所包含目标的类别，是Faster-RCNN最后的分类网络干的事情。由于是2分类（有无物体两种分类），所以它的维度是2k score（2个分数）。2k score，因为RPN是提候选框，还不用判断类别，所以只要求区分是不是物体就行，2个分数：前景（物体）的分数，和背景的分数；
CRNN——卷积循环神经网络结构
qq_51715775的博客
04-17 1万+
CRNN——卷积循环神经网络结构简介构成CNNMap-to-Sequence图解RNNctcloss序列合并机制推理过程编解码过程代码实现 简介 CRNN 全称为 Convolutional Recurrent Neural Network，是一种卷积循环神经网络结构，主要用于端到端地对不定长的文本序列进行识别，不用先对单个文字进行切割，而是将文本识别转化为时序依赖的序列学习问题，就是基于图像的序列识别。 CRNN可以用于解决基于图像的序列识别问题，特别是场景文字识别问题 构成 整个CRNN网络结构包含三部
CNN目标检测（一）：Faster RCNN详解
热门推荐
holy的博客
07-11 3万+
转自：http://blog.youkuaiyun.com/zy1034092330/article/details/62044941 经过RCNN和Fast RCNN的积淀，Ross B. Girshick在2016年提出了新的Faster RCNN，在结构上，Faster RCN已经将特征抽取(feature extraction)，proposal提取，bounding box reg
Fast RCNN笔记
ahxieqi的博客
11-27 203
2018 November 27 fast-rcnn Fast RCNN笔记 除了Proposal阶段，Fast RCNN基本实现了end-to-end的CNN对象检测模型 1. R-CNN、SPP-net的缺点 R-CNN和SPP-Net的训练过程类似，分多个阶段进行，实现过程较复杂。这两种方法首先选用Selective Search方法提取proposals,然后用CNN实现特...
Fast R-CNN_RCNN_FastRCNN实现_faster-rcnn_CNN_fasterRCNN_
10-02
**Fast R-CNN、RCNN与Faster R-CNN：深度学习目标检测技术解析** 在计算机视觉领域，目标检测是一项核心任务，它涉及到识别图像中特定物体的位置和类别。Fast R-CNN、RCNN（区域卷积神经网络）以及Faster R-CNN是这...
经典深度学习论文 rcnn fast-rcnn faster-rcnn mask -rcnn yolo系类 DOTA
04-13
这一领域的几个里程碑式的工作包括RCNN、Fast R-CNN、Faster R-CNN、Mask R-CNN以及YOLO系列。这些模型的发展推动了物体检测技术的进步，提高了速度和精度。 1. **RCNN（Region-based Convolutional Neural ...
RCNN fast-RCNN faster-RCNN
02-10
针对RCNN的效率问题，2015年出现了Fast R-CNN，同样由Girshick提出。Fast R-CNN的核心改进在于： 1. **共享卷积特征**：整个图像只进行一次CNN前向传播，生成全局特征图，然后对候选区域进行RoI池化，提取局部特征...
Rcnn，FastRcnn, FasterRcnn
11-25
"Rcnn，FastRcnn, FasterRcnn"这三篇论文代表了这一领域的重大进步，它们分别由Ross Girshick、Shaoqing Ren和Kaiming He等人提出，对卷积神经网络（CNN）在物体检测上的应用进行了革命性的改进。 首先，R-CNN...
RCNN、Fast RCNN、Faster RCNN对比
qq_32172681的博客
08-27 5928
RCNN、Fast RCNN、Faster RCNN详解参考以下文章： RCNN：https://blog.youkuaiyun.com/qq_32172681/article/details/99105617 Fast RCNN：https://blog.youkuaiyun.com/qq_32172681/article/details/99194233 Faster RCNN：https://blog.csd...
RPN_RCN_roiExtractor:区域提案网络，然后是区域分类网络，以提取感兴趣的区域
03-31
RPN_RCN_roiExtractor:区域提案网络，然后是区域分类网络，以提取感兴趣的区域
Faster-RCNN论文详解
游戏boy
07-21 968
Faster-RCNN   提出了Region Proposal Network（RPN）一个全连接的卷积层可以同时预测目标边界和目标分数（物体） 把RPN和Fast-RCNN合并为一个网络通过共享他们的卷积特征——使用带有"attention"机制的神经网络 联合网络unified networks   1、introduction Region porposal mathod： ...
k[原创]Faster R-CNN论文翻译
weixin_30401605的博客
11-07 426
物体检测论文翻译系列： 建议从前往后看，这些论文之间具有明显的延续性和递进性。 R-CNN SPP-net Fast R-CNN Faster R-CNN Faster R-CNN论文翻译 原文地址 FasterR-CNN是互怼完了的好基友一起合作出来的巅峰之作，本文翻译的比例比较小，主要因为本paper是前述paper的一个简单改进，方法清晰，想法自然。什...
FasterRCNN详解
qq_35732321的博客
01-16 1万+
FasterRCNN详解1.2.2 FasterRCNN1 模型1.1 主干网络VGG16 or ResNet50.1.2 RPN生成建议框1.3 RCNN进行分类和回归2 预测2.1 预测流程3 训练3.1 训练流程3.2 生成标签3.3 损失函数 1.2.2 FasterRCNN FasterRCNN在FastRCNN的基础上，实现端到端的训练。算法分为3个部分。主干网络提取特征、RPN生成建议框、RCNN进行分类和回归。 FasterRCNN优点： 检测精度高。 RPN网络生成先验框。 通用型、鲁棒
Faster-RCN训练和入门使用--Pytorch版本
qq_35914818的博客
06-18 985
Faster-RCN训练和入门使用--Pytorch版本1.声明2.前期准备（1）克隆仓库（2）创建数据文件夹（3）下载数据（4）下载预训练模型（5）编译3.训练4.测试5.用自己的图片进行目标识别（运行demo）6.使用自己的数据集训练（1）准备数据（2）制作训练集trainval.txt（3）修改部分python代码（4）训练（5）运行demo 1.声明 本文是基于以下两篇文章的综合，大多数内容也是这两篇文章的，只是同时结合了自己在实际操作的时候一些感悟，感谢以下两篇文章！ 出处：https://www
Faster R-CNN详解
kk123k的博客
01-20 1万+
自R-CNN以及Fast R-CNN的出现之后，Fast R-CNN仍然有许多缺点，即选择性搜索找出所有的候选框这个也非常耗时，因此性能存在瓶颈，为了解决这个问题，Faster R-CNN就出现了。 解决：加入一个提取边缘的神经网络，也就说找到候选框的工作也交给神经网络来做了。 做这样的任务的神经网络叫做Region Proposal Network(RPN)。 基本做法： 　　• 将RPN放...
读懂Faster RCNN 白裳
qq_43703185的博客
07-17 423
原文链接：https://zhuanlan.zhihu.com/p/31426458 经过R-CNN和Fast RCNN的积淀，Ross B. Girshick在2016年提出了新的Faster RCNN，在结构上，Faster RCNN已经将特征抽取(feature extraction)，proposal提取，bounding box regression(rect refine)，classification都整合在了一个网络中，使得综合性能有较大提高，在检测速度方面尤为明显。目录 1 Conv la
fast RCN论文笔记
游戏boy
07-05 1316
Fast-RCNN提高了 训练和测试上的速度+准确率提出了一种单阶段训练算法同时可以用来分类目标的proposal和他们的空间位置1.1  RCNN 的三个缺陷：训练是一个三阶段的pipeline：fine-tunes(ConvNet)+SVM(ConvNet features)+bounding-box regressorsSVM和BB regressors从proposal中提取出来的特征需要...
cnn rcnn fast rcnn faster rcn
最新发布
03-09
class FasterRCNN(torch.nn.Module): def __init__(self, backbone, rpn_head, roi_heads): super().__init__() self.backbone = backbone # Backbone network like ResNet or VGG self.rpn_head = rpn_head # ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值