Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

最新推荐文章于 2024-12-12 01:00:00 发布
原创 最新推荐文章于 2024-12-12 01:00:00 发布 · 911 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#faster-r-cnn #fast-r-cnn #r-cnn #目标检测

Faster R-CNN在R-CNN、SPP-net和Fast R-CNN基础上，通过引入Region Proposal Network (RPN) 解决了目标检测速度问题。RPN与检测网络共享卷积层参数，极大地提高了效率。RPN包含Anchors设计、损失函数定义和训练过程。Anchors以多尺度方式覆盖图像，损失函数用于区分正负样本，训练时采用特定策略更新网络参数。最终，Faster R-CNN通过四步训练法实现RPN与Fast R-CNN的协同优化。

    这篇论文是在前面三篇论文的基础上发展而来的，包括 R-CNN:Rich feature hierarchies for accurate object detection and semantic segmentation 、SPP-net：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 以及Fast R-CNN ，建议先了解这三篇论文然后再来学习这篇论文。总共这四篇论文保持了总体结构的不变性，即都是用proposals和深度网络结合的方法进行目标检测，但又在速度和精度上都有不断提高。在前面三篇论文中，对于一张图片提出proposals的方法采用的是selective search，但是selective search的方法是非常耗时间的，一般给定一张图片，执行selective search算法需要消耗2s的时间，相比Fast R-CNN中检测模块一张图片只要0.2s的时间，selective search占据了整个检测算法的大多数时间，因此如何快速提出proposals也成为了R-CNN系列目标检测方法中一个亟待解决的问题。这篇论文主要解决的就是这个问题，方法是作者提出了一个Region Proposal Network (RPN)，用来进行替换selective search进行proposals的提出，并且该网络和目标检测网络比如Fast R-CNN共享了卷积层的参数，因此只需要在Fast R-CNN的基础上花额外很少以至于可以不计的时间，便可以网络proposals的提出。下面就来介绍这篇论文的主要部分。主要分两个部分讲，一个是介绍RPN网络的设计，一个是介绍如何让RPN和Fast R-CNN共享特征。
    [1]RPN网络的设计
    按照论文的思路，这部分分为三个模块，分别是Anchors的设计、损失函数(Loss Function)的定义以及训练RPN网络。
    [1.1]anchors的设计
     首先说什么是anchors，一个anchor就是以最后一层卷积层输出的feature map的一个像素点为中心，分别以k个w和h为宽高的矩形，w、h的取值准则是以该w、h以及中心点为矩形，将其对应到原图中的矩形框的面积和宽高比分别满足事先设定好的k中情况。也就是说，feature map上的一个anchor就对应着原图中的一个proposal。由于对于feature map上的每一个点都进行这个操作，所以当feature map的尺寸为WH的时候，就会产生WHK个anchors，也就对应原图中的WHK个proposals。关于anchor的进一步讨论可以参考链接。正是由于anchor的设计加入了多尺度，使得算法可以不用对图像进行金字塔变换就可以对多尺度的目标有较好的识别率。
    [1.2]损失函数(Loss Function)的定义
    为了训练RPN网络，对每一个anchor都赋予一个二元的标签，即是物体或者不是物体，如果一个anchor和真值矩形对应的anchor有最大的交并比(Intersection-over-Union)或者一个anchor与真值矩形对应的anchor的交并比大于0.7，则将其标为正样本，如果一个anchor和所有的真值矩形对应的anchor的交并比都小于0.3的话，则将其标为负样本。此外的所有anchor都不管了。损失函数定义如下：
这里写图片描述
    i表示的是一个mini-batch中，anchor的索引，pi表示的是网络预测的第i个anchor是物体的概率。如果一个anchor是正样本，那么真值pi*就是1，反之为0。ti是网络预测的第i个anchor的坐标参数，而如果这个anchor是正样本的话，ti*就是与这个anchor相对应的真值anchor的坐标参数。而事实上，也只有pi*=1的anchor才能参与到损失函数的计算中来。Ncls是mini-batch的size，即图片的个数，而Nreg则是anchor的个数。
    [1.3]训练RPN网络
    在每一次SGD使用的一个mini-batch中，从mini-batch的每一个图片中，随机抽取128个正样本的anchor和128个负样本的anchor，所有的新的网络层都以0均值、0.01标准差的高斯分布进行初始化，其它在Fast R-CNN就有的卷积网络参数用在imagenet上训练的参数初始化，在前60k个mini-batch中，学习率设为0.001，接下来的20kmini-batch的训练中学习率设为0.0001，momentum设为0.9，decay设为0.0005。
    [2]RPN和Fast R-CNN共享特征
    作者采用四步训练法：
    1）单独训练RPN网络，网络参数由预训练模型载入；
    2）单独训练Fast-RCNN网络，将第一步RPN的输出候选区域作为检测网络的输入。具体而言，RPN输出一个候选框，通过候选框截取原图像，并将截取后的图像回归。截止到现在，两个网络并没有共享参数，只是分开训练了；
    3）再次训练RPN，此时固定网络公共部分的参数，只更新RPN独有部分的参数；
    4）那RPN的结果再次微调Fast-RCNN网络，固定网络公共部分的参数，只更新Fast-RCNN独有部分的参数。
    至此，网络的结构和训练方法就此结束了。

【论文精读】【Faster RCNN】Faster R-CNN :Towards Real-Time Object Detection with Region Proposal Networks
weixin_44184852的博客
03-05 1675
最先进的目标检测网络依赖于候选框算法来假设目标位置。像SPPnet[7]和Fast R-CNN[5]这样的进步已经减少了这些检测网络的运行时间，暴露了候选框计算作为一个瓶颈。在这项工作中，我们介绍了一个候选框网络（RPN），它与检测网络共享全图像卷积特征，从而实现几乎免费的候选框。RPN是一个完全卷积的网络，它同时预测每个位置的目标边界和目标分数。RPN被端到端训练以生成高质量的候选框，这些建议被Fast R-CNN用于检测。通过简单的交替优化，可以训练RPN和Fast R-CNN共享卷积特征。
Faster R-CNN: Towards Real-Time Object Detection with Region
04-06
Faster R-CNN的核心创新在于引入了区域提议网络（Region Proposal Network，RPN），它与检测网络共享全图像卷积特征，从而几乎免费地生成高质量的区域提议。 Faster R-CNN的前驱工作，如SPPnet和Fast R-CNN，虽然...
Faster R-CNN Towards Real-Time Object Detection With Region Proposal Networks
08-06
论文标题中提到的“Region Proposal Networks”（区域建议网络）是Faster R-CNN的核心创新之一，而其全称为“Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”。这篇论文由微软...
【目标检测】Faster R-CNN论文详解（Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Netw......
不可能打工的博客
12-02 458
论文原文：https://arxiv.org/pdf/1506.01497.pdf R-CNN论文详解：https://www.jianshu.com/p/c1696c27abf8 fast R-CNN论文详解：https://www.jianshu.com/p/fbbb21e1e390 一、简介 faster R-CNN发表于NIPS2015，从命名不难看出，它和R-CNN、fast R-CNN...
Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks(论文阅读)
Xiao_Ya__的博客
07-08 1348
Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks(论文阅读)
最新外文文献（原文加翻译）
12-23
就最近，因毕设的文献需求，我特地的在google学术外下载的英文文献，并且自己翻译完成后，先将它分享给大家，这是一篇使用C++设计的关于服务器并发和并行程序的线程库。
Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks——使用区域提议网络实现实时目标检测
Together_CZ的博客
12-12 1287
Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks——使用区域提议网络实现实时目标检测
Faster R-CNN: TowardsReal-Time Object Detection with Region Proposal Networks阅读笔记
mw_mustwin的博客
11-04 7131
Faster R-CNN: TowardsReal-Time Object Detection with Region Proposal Networks Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun 一、摘要        目前最好的目标检测网络都依赖region proposals算法来假设目标位置。比较好的例子，例如SPP-
faster rcnn：towards real-time object detection with region proposal network
liguandong
12-14 4596
轻松掌握 MMDetection 中常用算法(二)：Faster R-CNN|Mask R-CNN - 知乎文@ 0000070 前言在 轻松掌握 MMDetection 中常用算法(一)：RetinaNet 及配置详解一文中，对经典 one-stage 目标检测算法 RetinaNet 以及相关配置参数进行了详细说明，本文解读经典 two-stage 算法 Faster R-CNN…https://zhuanlan.zhihu.com/p/349807581 faster-rcnn属于...
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks实验部分代码复现
最新发布
03-15
<think>好的，我现在需要帮助用户解决关于Faster R-CNN论文中实验部分的代码复现问题，特别是使用PyTorch和TensorFlow的情况。首先，我要回顾用户提供的引用内容，确保回答准确。 用户引用了三个来源，其中引用[1]详细解释了Faster R-CNN的结构和背景，引用[2]提到了Fast R-CNN的PyTorch实现步骤，而引用[3]则提供了一个具体的代码仓库和训练命令。这些信息都是关键，尤其是引用[3]中的代码复现步骤，用户可能已经尝试过但需要更多指导。 接下来，我需要明确用户的需求：他们希望复现Faster R-CNN的实验部分，可能包括训练、评估和结果对比。需要确认用户是否已经了解Faster R-CNN的基本结构，比如RPN网络、RoI池化等，但根据问题描述，用户可能已经具备一定基础，现在需要具体的代码实现指导。 根据引用[3]，使用PyTorch复现的步骤已经存在，但用户可能需要更详细的说明，比如环境配置、数据准备、参数调整等。而TensorFlow的实现可能需要参考其他资源，用户提供的引用中没有直接提到，但可以建议官方实现或其他可靠仓库。 在回答时，需要分步骤说明PyTorch和TensorFlow的实现方法，并引用提供的资料。例如，PyTorch部分可以基于引用[3]的代码库，而TensorFlow则可能需要寻找其他资源。同时，要提醒用户注意数据集的准备，如PASCAL VOC或COCO，以及训练时的参数设置，如学习率、批次大小等。 还需要考虑用户可能遇到的常见问题，比如依赖项安装、CUDA版本兼容性、训练过程中的调试技巧。可以建议用户查看仓库的文档和issue部分，以解决特定错误。 最后，生成相关问题时要围绕复现过程中可能遇到的挑战和进一步的应用，比如性能优化、模型调整、结果可视化等。确保问题有助于用户深入理解和解决实际问题。</think>关于Faster R-CNN实验部分的代码复现，根据提供的参考资料，我为您梳理PyTorch和TensorFlow实现的关键步骤： ### 一、PyTorch复现方案 1. **代码库推荐**： simple-faster-rcnn-pytorch（引用[3]）是一个轻量级实现，包含完整的训练/验证流程，支持PASCAL VOC数据集。其核心实现包括： ```python # RPN网络结构示例 class RPN(nn.Module): def __init__(self, in_channels=512, mid_channels=512): super().__init__() self.conv = nn.Conv2d(in_channels, mid_channels, 3, padding=1) self.cls_layer = nn.Conv2d(mid_channels, 18, 1) # 9 anchors * 2(fore/back) self.reg_layer = nn.Conv2d(mid_channels, 36, 1) # 9 anchors * 4(dx,dy,dw,dh) # RoI池化层 roi_pool = RoIPool(7, 7, spatial_scale=1.0/16) ``` 2. **训练配置**（引用[3]）： ```bash python train.py train \ --env='fasterrcnn-caffe' \ --plot-every=100 \ --caffe-pretrain ``` 关键参数说明： - `--caffe-pretrain`: 使用Caffe预训练的VGG16权重 - `--plot-every`: 每100次迭代可视化损失和预测结果 3. **实验指标实现**： 需在`eval.py`中实现： ```python def eval_detection(pred_boxes, gt_boxes, iou_threshold=0.5): # 计算mAP的逻辑 ... return AP, precision, recall ``` ### 二、TensorFlow复现方案 推荐使用官方实现[TensorFlow Models](https://github.com/tensorflow/models/tree/master/research/object_detection)，其包含： 1. **配置文件关键参数**： ```protobuf faster_rcnn { num_classes: 20 image_resizer { keep_aspect_ratio_resizer { min_dimension: 600, max_dimension: 1024 }} feature_extractor { type: 'faster_rcnn_resnet101' } first_stage_anchor_generator { ... } second_stage_box_predictor { ... } } ``` 2. **训练命令**： ```bash python object_detection/model_main.py \ --pipeline_config_path=configs/faster_rcnn_resnet101_voc.config \ --model_dir=training/ ``` ### 三、实验复现注意事项 1. **数据集准备**： - PASCAL VOC需转换为COCO格式（引用[3]的实现使用自定义数据加载器） - 数据增强建议包括：随机水平翻转、颜色抖动、缩放裁剪 2. **收敛性调试**： - 初始学习率建议设为$3\times10^{-4}$，每5个epoch衰减10% - RPN建议使用Smooth L1 Loss，分类任务使用CrossEntropy Loss 3. **硬件要求**： | 框架 | GPU显存 | 训练时间(VOC) | |---------|-------|------------| | PyTorch | 8GB | ~12小时 | | TensorFlow | 11GB | ~18小时 | ### 四、实验结果验证 应复现论文中的关键指标： $$ \text{mAP} = \frac{1}{N}\sum_{i=1}^{N} AP_i $$ 在VOC2007 test set上应达到约70.0% mAP（使用ResNet-101时）[^1]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值