Faster RCNN

最新推荐文章于 2024-06-11 14:22:04 发布
最新推荐文章于 2024-06-11 14:22:04 发布
阅读量383 收藏
点赞数
分类专栏： Deep Learning 图像处理 文章标签： 目标检测；Faster RCNN

转自：http://blog.youkuaiyun.com/hunterlew/article/details/71075925

论文：《Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks》

摘要：算法主要解决两个问题：

1、提出区域建议网络RPN，快速生成候选区域；

2、通过交替训练，使RPN和Fast-RCNN网络共享参数。

 

一、 RPN网络结构

RPN网络的作用是输入一张图像，输出一批矩形候选区域，类似于以往目标检测中的Selective Search一步。网络结构是基于卷积神经网络，但输出包含二类softmax和bbox回归的多任务模型。网络结果如下（以ZF网络为参考模型）：


其中，虚线以上是ZF网络最后一层卷积层前的结构，虚线以下是RPN网络特有的结构。首先是3*3的卷积，然后通过1*1卷积输出分为两路，其中一路输出是目标和非目标的概率，另一路输出box相关的四个参数，包括box的中心坐标x和y，box宽w和长h。

（至于之前为什么要用3*3的卷积核，我觉得是和感受野大小相对应的。在原来的ZF模型中，3*3卷积核对应map比例是3/13，相当于在型如1000*600的图片中采用180左右的感受野。对于1000*600的图片中大部分目标而言，这个大小的感受野是比较合适的吧。）

从卷积运算本身而言，卷积相当于滑窗。假如输入图像是1000*600，则经过了几次stride后，map大小缩小了16倍，最后一层卷积层输出大约为60*40大小，那么相当于用3*3的窗口滑窗（注意有padding），对于左边一支路而言，输出18个通道，每个通道map大小仍为60*40，代表每个滑窗中心对应感受野内存在目标与否的概率。右支路同理。

二、 anchor机制

anchor是rpn网络的核心。刚刚说到，需要确定每个滑窗中心对应感受野内存在目标与否。由于目标大小和长宽比例不一，需要多个尺度的窗。Anchor即给出一个基准窗大小，按照倍数和长宽比例得到不同大小的窗。例如论文中基准窗大小为16，给了（8、16、32）三种倍数和（0.5、1、2）三种比例，这样能够得到一共9种尺度的anchor，如图（摘自http://blog.youkuaiyun.com/shenxiaolu1984/article/details/51152614）。


因此，在对60*40的map进行滑窗时，以中心像素为基点构造9种anchor映射到原来的1000*600图像中，映射比例为16倍。那么总共可以得到60*40*9大约2万个anchor。

三、 训练

RPN网络训练，那么就涉及ground truth和loss function的问题。对于左支路，ground truth为anchor是否为目标，用0/1表示。那么怎么判定一个anchor内是否有目标呢？论文中采用了这样的规则：1）假如某anchor与任一目标区域的IoU最大，则该anchor判定为有目标；2）假如某anchor与任一目标区域的IoU>0.7，则判定为有目标；3）假如某anchor与任一目标区域的IoU<0.3，则判定为背景。所谓IoU，就是预测box和真实box的覆盖率，其值等于两个box的交集除以两个box的并集。其它的anchor不参与训练。

于是，代价函数定义为：


代价函数分为两部分，对应着RPN两条支路，即目标与否的分类误差和bbox的回归误差，其中Leg(ti,ti*) = R(ti-ti*)采用在Fast-RCNN中提出的平滑L1函数，作者认为其比L2形式的误差更容易调节学习率。注意到回归误差中Leg与pi相乘，因此bbox回归只对包含目标的anchor计算误差。也就是说，如果anchor不包含目标，box输出位置无所谓。所以对于bbox的groundtruth，只考虑判定为有目标的anchor，并将其标注的坐标作为ground truth。此外，计算bbox误差时，不是比较四个角的坐标，而是tx，ty，tw，th，具体计算如下：


四、 联合训练

作者采用四步训练法：

1） 单独训练RPN网络，网络参数由预训练模型载入；

2） 单独训练Fast-RCNN网络，将第一步RPN的输出候选区域作为检测网络的输入。具体而言，RPN输出一个候选框，通过候选框截取原图像，并将截取后的图像通过几次conv-pool，然后再通过roi-pooling和fc再输出两条支路，一条是目标分类softmax，另一条是bbox回归。截止到现在，两个网络并没有共享参数，只是分开训练了；

3） 再次训练RPN，此时固定网络公共部分的参数，只更新RPN独有部分的参数；

4） 那RPN的结果再次微调Fast-RCNN网络，固定网络公共部分的参数，只更新Fast-RCNN独有部分的参数。

至此，网络训练结束，网络集检测-识别于一体，测试阶段流程图如下：

有一些实现细节，比如RPN网络得到的大约2万个anchor不是都直接给Fast-RCNN，因为有很多重叠的框。文章通过非极大值抑制的方法，设定IoU为0.7的阈值，即仅保留覆盖率不超过0.7的局部最大分数的box（粗筛）。最后留下大约2000个anchor，然后再取前N个box（比如300个）给Fast-RCNN。Fast-RCNN将输出300个判定类别及其box，对类别分数采用阈值为0.3的非极大值抑制（精筛），并仅取分数大于某个分数的目标结果（比如，只取分数60分以上的结果）。


YOLOv7改进之实验结果：新增mAP75的值
GzvDart的博客
09-19 243
因此，在YOLOv7中，我们引入了一个新的指标mAP75，该指标使用IoU阈值为0.75来计算。综上所述，YOLOv7的改进引入了mAP75指标，用于评估模型在IoU阈值为0.75时的目标检测性能。然后，我们计算每个预测框与真实框的最大IoU值，并将大于0.75的数量作为正确检测的数量。最后，我们将每个图像的正确检测数除以总的检测数，得到mAP75的值。最近的改进在YOLOv7中引入了新增的mAP75指标来评估模型的性能。除了mAP75之外，我们仍然可以使用传统的mAP指标来评估模型的性能。
深度学习论文复习
DLUT_yan的博客
10-23 3436
一. 卷积神经网络 conv+relu+pooling（卷积、非线性、池化）用于特征提取，全连接用于分类。 卷积层：学习特征 非线性层：如果用线性的激励函数，其实输出就是输入乘上一个大的矩阵，就没有体现出隐层的作用。输出信号仅是一个简单的线性函数。 池化层： （1）权重参数的数目减少到了75%（在池化层是2x2的前提下），因此降低了计算成本。 （2）控制过拟合。（原有数据保留太完整，当然很有可能造成过拟合） （3）池化操作可以看做是一种强制性的模糊策略。当然和之前的卷积一样，池化也是层层递进的，底层的池化是
Faster-RCNN算法精读
热门推荐
hunterlew的专栏
05-01 12万+
读论文：《Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks》 摘要：算法主要解决两个问题： 1、提出区域建议网络RPN，快速生成候选区域；2、通过交替训练，使RPN和Fast-RCNN网络共享参数。 一、 RPN网络结构 RPN网络的作用是输入一张图像，输出一批矩形候选区域
Faster RCNN精读
Flying Bulldog 的博客
12-11 1029
最先进的目标检测网络依赖于区域建议算法来假设目标位置。SPPnet和Fast R- CNN等技术的进步降低了这些检测网络的运行时间，使得区域推荐计算成为瓶颈。在这项工作中，我们引入了一个区域建议网络( RPN )，它与检测网络共享全图像卷积特征，从而实现了几乎无成本的区域建议。RPN是一个全卷积网络，它同时预测每个位置的对象边界和对象得分。RPN经过端到端的训练，生成高质量的区域提案，供Fast R-CNN用于检测。
RCNN_人脸检测
Twilight737的博客
04-23 1418
RCNN_人脸检测 1966年，Marvin Minsky让他的学生Gerald Jay Sussman花一个暑假的时间，把相机连接到电脑上并使得电脑能描述出看到的东西，这就是目标检测的由来。 2014年，作者RBG提出RCNN模型，创造性地使用Selective Search方法代替滑动窗口策略，并利用CNN提取图像特征，成为第一个可以真正工业级应用的解决方案，掀起了目标检测领域的研究热潮。 文章目录RCNN_人脸检测前言一、数据集准备二、网络结构三、区域检测四、模型效果五、对结果的一些深入思考六、源码
目标检测结果IOU不同取值的意义（0.5：0.95等)
Lawrence_Cj的博客
09-08 1万+
目标检测结果IOU不同取值的意义（0.5：0.95等）IOU=[0.5:0.95], IOU = 0.5, IOU=0.75等等 IOU=[0.5:0.95], IOU = 0.5, IOU=0.75等等 1.Unless otherwise specified, AP and AR are averaged over multiple Intersection over Union (IoU) values. Specifically we use 10 IoU thresholds of .50:.05
FasterRCNN-pytorch:FasterRCNN在VGG，ResNet和FPN基础中实现
05-13
FasterRCNN在VGG，ResNet和FPN基础中实现。 参考： rbg的FasterRCNN代码： : 模型表现 在VOC2017上进行培训在VOC2017上进行测试 骨干 地图 VGG16 0.7061 ResNet101 0.754 训练模型 1.运行前，您需要： 光盘....
已经训练好tensorflow的Faster RCNN模型下载.7z
08-09
Faster RCNN（Fast Region-based Convolutional Network）是一种在计算机视觉领域广泛应用的目标检测算法，它在R-CNN（Region-based Convolutional Network）的基础上进行了优化，显著提升了目标检测的速度和性能。...
Detectron2-FasterRCNN 画损失函数曲线
02-13
在这个主题中，"Detectron2-FasterRCNN 画损失函数曲线"是关于如何分析训练过程中的损失函数变化，这对于理解和优化模型的性能至关重要。损失函数曲线可以帮助我们了解模型在训练期间的学习情况，例如是否过拟合或欠...
fasterrcnn_resnet50_fpn_coco-258fb6c6.pth
09-01
fasterrcnn_resnet50_fpn_coco-258fb6c6.pth fasterrcnn_resnet50_fpn_coco-258fb6c6.pthfasterrcnn_resnet50_fpn_coco-258fb6c6.pthfasterrcnn_resnet50_fpn_coco-258fb6c6.pth
RCNN代码实现目标自动识别和人脸识别
12-08
实现RCNN的源码，主要用于进行目标自动识别和人脸识别
YOLO 模型的评估指标——IOU、Precision、Recall、F1-score、AP、mAP、
m0_73731663的博客
06-11 5294
置信度用于评估模型对检测结果的信心程度下图中，绿色框A表示Ground Truth，也称GT，GT就是正确的标注（人工）iou：表示预测的边界框（或分割区域）与真实边界框（或分割区域）之间的交集与并集之间的比值。阈值：根据实际情况可调节如果预测框与真实框的IOU > 0.5，那么此预测框归为TP如果0 < IOU <= 0.5，那么此预测框归为FP如果IOU < 0 ，那么此预测框归为 FN检测到同一个GT的多余检测框也归为FP，怎么解 释呢？
计算机视觉算法整理（一）：Faster RCNN，bounding box regression，IOU，GIOU
Bin 的专栏
12-07 5201
专门收录一下一些有趣的，计算机视觉中我想记录一下的算法，重点关注的是loss function，顺便说下相关算法。因为是收录，只为日后查看之需，有一些会借用一些资料，我会给出引用。 1、Faster RCNN 两阶段目标检测的代表作，可以说是开创了目标检测的一番局面。现在很多公司实际在商用的目标检测算法，依然很多是基于Faster RCNN的。虽然后来各种论文都号称吊打Faster RCNN，但是...
目标检测之RCNN,Fast RCNN,Faster RCNN
AndyJ的学习之旅
09-18 481
R-CNN Rich feature hierarchies for accurate object detection and semantic segmentation-CVPR2014 训练过程 准备region proposal。对于训练集中的所有图像，采用selective search方式来获取，最后每个图像得到2000个region proposal。 准备正负样本。如果某个region proposal和当前图像上的所有ground truth中重叠面积最大的那个的IOU大于等于0.5
目标检测中的检测指标
Black的博客
06-02 389
目标检测中检测指标 IOU IOU称为交并比，预测框和真实框区域交集和并集的比值，图示如下 代码实现 def iou(box1, box2): ''' 两个框（二维）的 iou 计算 注意：边框以左上为原点 box:[top, left, bottom, right] ''' in_h = min(box1[2], box2[2]) - max(box1[0], box2[0]) in_w = min(box1[3], box2[3]
【CV论文精读】【Faster RCNN】Fast R-CNN
weixin_44184852的博客
03-05 1154
提出了一种基于区域的快速卷积网络（Fast R-CNN）目标检测方法。Fast R-CNN建立在以前的工作基础上，使用深度卷积网络有效地对目标候选框进行分类。与以前的工作相比，Fast R-CNN采用了几项创新来提高训练和测试速度，同时也提高了检测准确性。Fast R-CNN训练非常深的VGG16网络的速度比R-CNN快9倍，在测试时快213倍，并在PASCAL VOC 2012上实现了更高的映射。与SPPnet相比，Fast R-CNN训练VGG16的速度快3倍，测试速度快10倍，并且更准确。
简单人脸识别一之使用opencv+cnn网络实现人脸识别
飞奔的菜猪的博客
06-14 3万+
最近在研究目标检测这个方向，看到网上有很多的人脸识别帖子，所以也想着上上手看看。当时是做了三个模型出来，第一个就是网上很通用普遍的opencv+简单三层cnn网络来实现的，说实话效果真的一般吧！具体的下面再细细陈述。第二个是把三层cnn网络换成了残差网络。因为自己刚好也是学习了残差网络。就想着生搬硬套过来，但效果说实话很迷，时好时坏，把我是整蒙逼了，后面也会提的。最后一个是用opencv+MTCN...
3 -【Faster R-CNN】之 backbone 代码精读
weixin_37804469的博客
02-01 702
在上一篇文章中，我们得到了图像尺寸统一的 batch 了，接下来，就是 feed 到 backbone 中 获取 feature map。
faster RCNN
最新发布
03-22
### Faster R-CNN 算法介绍 Faster R-CNN 是一种基于深度学习的目标检测算法，由 Ross Girshick 提出，是对 Fast R-CNN 的重要改进[^2]。该算法的核心创新在于引入了区域生成网络 (Region Proposal Network, RPN)，从而实现了端到端的训练和推理过程。 #### 区域生成网络 (RPN) RPN 是 Faster R-CNN 中的关键组件之一，其作用是从输入图像中生成高质量的候选区域 (region proposals)[^2]。相比之前的 Fast R-CNN 和传统的方法（如 Selective Search），RPN 显著减少了候选区域生成的时间开销，并将其无缝集成到了整个目标检测框架之中。通过共享卷积特征图，RPN 能够高效地完成候选框的预测任务。 #### 主要组成部分 Faster R-CNN 可分为以下几个主要模块： 1. **卷积层**: 使用预训练好的 CNN 模型（如 VGG-16 或 ResNet）提取图像的特征表示。 2. **RPN**: 利用上述特征图生成候选区域。 3. **RoI Pooling 层**: 将不同大小的候选区域映射为固定尺寸的特征向量。 4. **全连接层与分类器**: 对每个候选区域进行类别预测并调整边界框的位置参数。 这些部分共同协作，在 GPU 上达到了约 5 fps 的检测速度，同时保持较高的准确性。 ### 实现方式 以下是 Faster R-CNN 的基本实现流程： ```python import torch from torchvision.models.detection import faster_rcnn def create_faster_rcnn_model(num_classes): model = faster_rcnn.fasterrcnn_resnet50_fpn(pretrained=True) in_features = model.roi_heads.box_predictor.cls_score.in_features model.roi_heads.box_predictor = faster_rcnn.FastRCNNPredictor(in_features, num_classes) return model # 创建模型实例 num_classes = 91 # COCO 数据集中的类别数加背景类 model = create_faster_rcnn_model(num_classes) # 定义优化器和其他超参... optimizer = torch.optim.SGD(model.parameters(), lr=0.005, momentum=0.9, weight_decay=0.0005) ``` 此代码片段展示了如何利用 PyTorch 构建一个 Faster R-CNN 检测模型，并对其进行自定义修改以适应特定数据集的需求。 ### 应用场景 由于其出色的性能表现，Faster R-CNN 广泛应用于多种实际领域，包括但不限于自动驾驶汽车中的障碍物识别、医学影像分析中的病灶定位以及无人机监控下的物体追踪等任务[^3]。例如，在交通管理方面，它可以快速准确地标记车辆行人信息；而在安防行业，则可用于视频流内的异常行为监测。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值