区域卷积神经网络RCNN

已于 2023-04-13 19:19:16 修改
阅读量430 收藏
点赞数
分类专栏： 深度学习 文章标签： cnn 机器学习 深度学习
于 2023-03-23 08:58:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43759716/article/details/129723505
版权

文章目录

在这里插入图片描述

具体来说，R-CNN包括以下四个步骤：

  1. 对输入图像使用选择性搜索来选取多个高质量的提议区域。这些提议区域通常是在多个尺度下选取的，并具有不同的形状和大小。每个提议区域都将被标注类别和真实边界框；
  2. 选择一个预训练的卷积神经网络，并将其在输出层之前截断。将每个提议区域变形为网络需要的输入尺寸，并通过前向传播输出抽取的提议区域特征；
  3. 将每个提议区域的特征连同其标注的类别作为一个样本。训练多个支持向量机对目标分类，其中每个支持向量机用来判断样本是否属于某一个类别；
  4. 将每个提议区域的特征连同其标注的边界框作为一个样本，训练线性回归模型来预测真实边界框。

selective search

选择性搜索

之前选择候选框的方法是指定一个固定大小的矩形然后让它以一定步长像卷积核那样在图像上移动截取候选框，然后可以换一个大小的矩形再像前面那样截。这样做复杂度太高，产生了很多的冗余候选区域，而且我们预先不知道图像里的目标大小是怎样的所以大概率情况是框不能很好地贴合物体边缘。

  1. 使用《Efficient Graph-Based Image Segmentation基于图的高效图像分割》中的方法初始化出一个粒度较小的图像

  2. 计算各区域之间的相似度，(颜色相似度) (纹理相似度) （填充相似度)

    尺度相似度：优先合并小的区域，也就是减少大区域合并小区域。

    交叠相似度：要看一下两个区域是否爱挨着，如果距离太远证明这两个区域大概率不属于同一个目标，所以不合适合并他们。

  3. 选出相似度最大的区域

  4. 合并

  5. 迭代从第2步开始的步骤

在这里插入图片描述

img

  1. 图 b，我们可以用颜色来分开两只猫，却没法用纹理来区分；

  2. 图 c，我们可以用纹理来区分变色龙，却没法用颜色来区分

  3. 图 d，轮胎是车的一部分，不是因为它们颜色相近、纹理相近，而是因为轮胎包含在车上

CNN部分

预训练

使用一个CNN模型，比如AlexNet，因为它的参数太多了，我们可以做迁移学习，使用一个大的公开数据集(ImageNet ILSVC 2012)，来训练AlexNet，得到一个1000分类的预训练模型，我们想要用RCNN识别的物体大概率也包含在这在1000个类别里，所以当预训练完AlexNet以后再把它迁移到RCNN来，预训练的参数已经可以很好的帮助我们从即将输入RCNN模型中的图像上提取正确的特征了。

微调

CNN模型针对ImageNet数据集且无变形的图像来提取特征，现在却是针对另外一个数据集且变形的图像来提取特征。所以，为了让我们的CNN适应新即检测任务(想要RCNN识别什么东西)和变形后的推荐窗口，需要对CNN的参数做微调，也就是使用resize后的“提议区域”再训练一下CNN，提议区域是新数据集中每张图片的通过选择性搜索裁出来的。要resize成227*227大小的，因为在AlexNet中，经过前面卷积池化的操作，输出结果的大小一定是固定的且不能改变，AlexNet的作者他使用的就是227大小的输入。

、

然后计算每个region proposal和ground truth 的IoU，对于IoU>0.5的region proposal被视为正样本，否则为负样本（即背景），对于一张图片的2k个提议区域来说负样本数量远大于正样本，将正样本进行过采样来保证样本分布均衡。因为大量的负样本参与训练时，即使调节了某些参数使得正样本损失变得更小，这些改进也不会对总的损失函数产生大影响，所以这种情况会淹没正样本的损失。

需要注意的是在微调的时候，需要原来预训练模型最后的1000-way的全连接层（分类层）换成21-way的分类层（20类物体+背景）。

SVM分类

训练SVM 时，IOU<0.3被作为负例，IOU＞0.7作为正例，其余全部丢掉

这边作者把softmax换成SVM做分类，训练CNN的时候对正样本的定义比较宽松，IOU的阈值设为0.5，可能作者想一定程度上加大正例的数据量，防止网络的过拟合。svm训练的时候，因为svm适用于少样本训练，所以对于训练样本数据的IOU要求可以更严格些，这样输入SVM中的正样本质量会更高，预测结果就更精准。

Bounding Box Regression

绿色的是真实的物体框ground truth，红色的是经过SVM分类出来的 它觉得这个框可以表示出图像里某个物体的边界框，但是这个边界框往往还是与ground truth有不小的差距，因为红色框的大小和位置取决于第一步的选择性搜索算法是如何选取的，并且带有一定的随机性，即使SVM有再精准的分类能力也是基于SS算法的结果判断。因此需要在最后一步做边框回归。

在这里插入图片描述

边框回归这一步要做的也是训练一个线性回归模型，输入是提议区域对应的CNN特征向量和ground truth的位置信息，可以输出重新调整提议区域的位置的信息。

在这里插入图片描述

原文中作者使用的是上图公式，好处是，回归模型不管处理多大的图，如果他们的特征向量是一样的，那么移动的比例都是一样的， 所以x,y要除以宽和高。否则，由于CNN具有尺度不变性，同一图像经过平移缩放的新图像的特征向量一样，输入线性回归模型得到的移动距离也一样，但是实际上它们需要的移动距离是不相同的。

使用指数形式保证宽高的缩放比例始终为正数

区域卷积神经网络（RCNN）
与其在风雨中逃避，不如在雷电中舞蹈
05-15 2470
简介 区域卷积神经网络（RCNN）系列模型为两阶段目标检测器/通过对图像生成候选区域，提取特征，判别特征类别并修正候选框位置。RCNN系列目前包含两个代表模型：Faster CNN，Mask RCNN. Faster RCNN网络可以分为四个主要步骤： 1.基础卷积层。 作为一种卷积神经网络目标检测方法，Faster RCNN首先使用一组基础的卷积网络提取图像的特征图。特征图被后续RPN层和全连接层共享。 本示例使用ResNet-50作为基础卷积层。 2.区域生成网络(RPN),区域生成网络用于
区域卷积神经网络介绍
11-13
自己做的对RCNN的入门介绍ppt，从图像的图表示开始，到选择性搜索、最后到RCNN。
【动手学】44_区域卷积神经网络（R-CNNs）
梦想是要有的，万一实现了呢！
01-03 931
一、​​​​​RCNN 使用启发式搜索算法选择锚框。（selective Search 是早期选择提议框的一种方法） 使用预训练模型来对每个锚框提取特征 训练一个SVM对类别分类 训练一个线性回归模型来预测边缘框偏移（区域提议算法选出的锚框到真实框之间的偏移） 区域提议算法生成锚框大小不同，如何让它们相同形成一个batch？ 兴趣区域池化层（Rol） 【注意 这块内容是Fast RCNN提出来的】 给定一个锚框，均匀分割成n×m块，输出每块里的最大值 不管锚框多大，总是输出nm个值 .
区域卷积神经网络（R-CNN,SPP-Net,Fast R-CNN,Faster R-CNN)
xiaoou的博客
11-13 9742
1 模型进化史 检测框架可分为两类： 两级式检测框架，包含一个用于区域提议的预处理步骤，使得整体流程是两级式的，如R-CNN系列 单级式检测框架，即无区域提议的框架，这是一种单独提出的方法，不会将检测提议分开，使得整个流程是单级式的，如YOLO系列 2 传统的目标检测 2.1 三个阶段 区域选择利用不同尺寸的滑动窗口框住图中的某一部分作为候选区域。 特征提取：提取候选区域相关的视觉特征...
（八）计算机视觉 -- 6 区域卷积神经网络（R-CNN）系列
FionaDong的博客
11-15 2786
6. 区域卷积神经网络（R-CNN）系列 区域卷积神经网络（region-based CNN / regions with CNN features，R-CNN）是将深度模型应用于目标检测的开创性工作之一。 本节将介绍R-CNN和它的一系列改进方法（模型设计思路）： 快速的R-CNN（Fast R-CNN）、更快的R-CNN（Faster R-CNN）以及掩码R-CNN（Mask R-CNN）。 6.1 R-CNN R-CNN首先对图像选取若干提议区域（如锚框也是一种选取方法）并标注它们的类别和边界框（如
深度学习入门（四十六）计算机视觉——区域卷积神经网络（R-CNN）系列
ElysiumAILab
11-22 1370
课件 R-CNN 兴趣区域(RoI)池化层 Faster R-CNN Faster R-CNN Mask R-CNN 精度和速度比较 总结 教材 1 R-CNN 2 Fast R-CNN 3 Faster R-CNN 4 Mask R-CNN 小结 参考文献
matlab图像去除阴影代码-Vineyard_FastRCNN:使用快速R-CNN（具有卷积神经网络的区域）对象检测器在葡萄园中进行深度学习
05-27
该项目提出了一种在农业环境中使用Matlab的基于快速区域的卷积神经网络方法（Fast R-CNN）的物体/障碍物检测器。 卷积神经网络近年来显着提高了图像分类和检测精度[1]。 可以以更高的置信度来检测具有多种光学特征和...
faster_rcnn_RCNN_RCNN神经网络_卷积神经网络_
09-29
卷积神经网络（Convolutional Neural Networks，简称CNN）是一种深度学习模型，广泛应用于图像识别、图像分类、目标检测等领域。RCNN（Region-based Convolutional Neural Networks）是基于CNN的目标检测方法，它...
RCNN:PyTorch中的递归卷积神经网络
05-12
总结来说，RCNN在PyTorch中的实现融合了卷积神经网络和区域提案网络，是解决对象检测问题的有效方法。结合RNN可以进一步提升在序列数据上的表现。在理解RCNN的基本原理后，通过阅读和运行提供的代码，你可以更好地...
浅谈深度神经网络 — R-CNN（区域卷积神经网络）R-CNN->Fast R-CNN->Faster R-CNN
丿回到火星去
02-14 6050
浅谈深度神经网络 — R-CNN（区域卷积神经网络）R-CNN->Fast R-CNN->Faster R-CNN
R-CNN卷积神经网络的第一篇论文
02-25
是R-CNN的论文原文，仅供可以学习、参考，不得他用。论文的题目是 《Rich feature hierarchies for accurate oject detection and semantic segmentation》，就是针对高准确度的目标检测与语义分割的多特征层级，通俗地来讲就是一个用来做目标检测和语义分割的神经网络。
计算机视觉技术-区域卷积神经网络（R-CNN）
学习笔记，人工智能，教程，技术分享！
01-06 875
本节将介绍R-CNN及其一系列改进方法：快速的R-CNN（Fast R-CNN） (Girshick, 2015)、更快的R-CNN（Faster R-CNN） (Ren et al., 2015)和掩码R-CNN（Mask R-CNN） (He et al., 2017)。作为端到端训练的结果，区域提议网络能够学习到如何生成高质量的提议区域，从而在减少了从数据中学习的提议区域的数量的情况下，仍保持目标检测的精度。这些形状各异的提议区域在卷积神经网络的输出上分别标出了形状各异的兴趣区域。
深度学习方法笔记之（三）：基于区域的卷积神经网络介绍（RCNN）
weixin_44322778的博客
07-04 436
【实现方法】 用RCNN检测目标物体的步骤如下： 首先取一个预训练卷积神经网络。 根据需要检测的目标类别数量，训练网络的最后一层。 得到每张图片的感兴趣区域（Region of Interest），对这些区域重新改造，以让其符合CNN的输入尺寸要求。 得到这些区域后，我们训练支持向量机（SVM）来辨别目标物体和背景。对每个类别，我们都要训练一个二元SVM。 最后，我们训练一个线性回归模型，为每个...
【深度学习笔记】9_8 区域卷积神经网络（R-CNN）系列
RIKI_1
03-14 1105
注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。
66.物体检测算法：区域卷积神经网络（R-CNN）系列
weixin_47505105的博客
01-10 723
笔记
卷积神经网络超详细介绍
热门推荐
呆呆的猫的博客
09-19 62万+
海量的有标记的训练数据，也就是李飞飞团队提供的大规模有标记的数据集ImageNet计算机硬件的支持，尤其是GPU的出现，为复杂的计算提供了强大的支持算法的改进，包括网络结构加深、数据增强（数据扩充）、ReLU、Dropout等AlexNet之后，深度学习便一发不可收拾，分类准确率每年都被刷榜，下图展示了模型的变化情况，随着模型的变深，Top-5的错误率也越来越低，目前已经降低到了3.5%左右，同样的ImageNet数据集，人眼的辨识错误率大概为5.1%，也就是深度学习的识别能力已经超过了人类。
卷积神经网络
lushanghuafei的博客
02-05 409
卷积神经网络能很好地适用于图像处理、语音识别等复杂感知任务。 卷积神经网络的强大之处在于它的多层网络结构能自动学习输入数据的深层特征，不同层次的网络可以学习到不同层次的特征。 浅层网络层感知区域较小，可以学习到输入数据的局部域特征（如图像的颜色、几何形状等）；深层网络层具有较大的感知域，能够学到输入数据中更加抽象的一些特征（如图像物体的属性、轮廓特点、位置信息等高维性质）。深层次的抽象特征对图像中...
Fast R-CNN：快速区域卷积网络对象检测框架
最新发布
gitblog_00455的博客
10-10 550
Fast R-CNN：快速区域卷积网络对象检测框架 fast-rcnn rbgirshick/fast-rcnn: 同样由Ross Girshick维护的Fast R-CNN原始仓库，该算法优化了物体检测的速度，并且能够同时进行分类和边框回归。 ...
区域卷积神经网络（R-CNN）笔记
weixin_33826609的博客
01-15 2712
区域卷积神经网络（region-based CNN或regions with CNN features，简称R-CNN）是将深度模型应用于目标检测的开创性工作之一 [1]。本节中，我们将介绍R-CNN和它的一系列改进方法：快速的R-CNN（Fast R-CNN）[3]、更快的R-CNN（Faster R-CNN）[4] 以及掩码R-CNN（Mask R-CNN）[5]。限于篇幅，这里只介绍这些模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TuringQi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值