目标检测R-CNN系列简要总结(RCNN, FastRCNN, FasterRCNN)

原创 已于 2024-03-05 17:54:15 修改 · 1.2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#cnn #深度学习 #目标检测 #计算机视觉 #人工智能

于 2022-04-30 01:45:49 首次发布
本文介绍了目标检测算法的发展，从R-CNN开始，它使用CNN提取特征，结合传统机器学习方法进行分类和定位。R-CNN效率低下，Fast R-CNN通过共享特征提取提高了速度。最后，Faster R-CNN引入区域提议网络（RPN）进一步加速，将候选框生成与检测结合在一个网络中。文章还详细讨论了各种损失函数和优化方法。

R-CNN： Region with CNN feature，是一个双阶段目标检测算法系列。
内容基于 b站霹雳吧啦Wz 博主，讲的很好，这里只是做简要总结。

R-CNN：

只有Feature extraction是CNN，其他是传统的机器学习方法。

关键步骤：

  • SS得到约2k个候选区域
  • 将约2k个候选区域分别使用AlexNet提特征，
  • 将提的特征用SVM做分类（假设分类20类，即voc数据集的类别数）。然后对每一类使用NMS，得到每一类得分最高的一些建议框。
  • 训练时，进一步筛选（将NMS后建议框与groundtruth IoU较低的框删掉），然后再使用20个回归器对剩余的建议框对应的cnn特征图进行回归操作（L2 loss），以进行修正。
    在这里插入图片描述
    最下方的流程图是SS-CNN-SVM的分类过程：↓SS-CNN-SVM
    存在的问题：
  • predict很慢，cpu上一张图约53s，且SS后的候选框有大量冗余
  • 训练很慢很繁琐
  • 对SVM和回归器的训练需要将cnn得到的特征保存下来，所以占用硬盘空间很大，上百G。

Fast R-CNN：

除SS算法外，特征提取、分类以及回归使用一个CNN网络实现。
且其不对每个SS后的候选框做特征提取，而是对整幅图做特征提取生成特征图，然后将候选框位置映射到特征图上，获得候选框所对应的特征图。大大减少了运算量。比R-CNN快200倍以上。
在这里插入图片描述
在这里插入图片描述
关键步骤：

  • SS操作后对2k候选区域筛选64个感兴趣区域（正样本+负样本）进行训练。
  • RoI Pooling Layer：将候选区域图像划分为7*7共49个小区域（这样对候选区域无需做resize），然后对每个小区域做maxpooling。
  • 将RoI的输出做flatten并使用并联的FC层分别做分类和回归。其中分类器的最终节点有N+1个，即前景类别数量+背景；回归器有（N+1）*4个节点，4代表对x,y,w,h四个量的预测，N+1代表每个类都有单独的边界框回归。
    在这里插入图片描述

损失loss：分类损失使用CE（Cross Entropy） loss，回归使用smooth L1 loss。[u≥1]是艾弗森括号，其中u代表该候选区域的真实标签 (0代表背景，1-N代表前景的类），当u≥1时[u≥1]=1，u≤1时[u≥1]=0，即只将前景的回归损失计入。
在这里插入图片描述
其中回归的损失：在这里插入图片描述
在这里插入图片描述

L1因为在最低点是不可导的，所以势必不会收敛到最低点，可能会在最优解附近震荡，而L2则是可以缓慢收敛至最优解的。从上图可以看出，该函数实际上就是一个分段函数，在[-1,1]之间实际上就是L2损失，这样解决了L1的不光滑问题，在[-1,1]区间外，实际上就是L1损失，这样就解决了离群点梯度爆炸的问题

Faster R-CNN：

Fast R-CNN的速度瓶颈在SS算法，所以新作针对候选框的生成进行改进。

在这里插入图片描述FasterRCNN = RPN+ FastRCNN（之前使用的SS算法，现在替换成RPN），即本作的重点就是RPN网络。其中k是anchor boxes的数量，RPN（Region Proposal Net）结构:RPN
其中关于RPN的感受野该博主在VGG视频中有讲。还会对anchor boxes进行一些筛选操作：在这里插入图片描述
其中训练时需要对anchor boxes进行正负样本的采样，每张图取256个样本，其中正负样本比大概1:1。正样本取与ground truth 的IoU超过阈值（论文取0.7）的（没有超过阈值的就取最大的），负样本取与与所有ground truth的IoU小于0.3的。

在这里插入图片描述
分类损失：论文中使用多分类的SCE（softmax CE）损失来计算这个二分类损失，因为其score输出是2k个，如果使用BCE也可以，但网络就是k个输出了。
在这里插入图片描述
边界框回归损失：与Fast RCNN的边界框回归损失是一样的
在这里插入图片描述
剩下的部分就是Fast RCNN了。

训练：
在这里插入图片描述
之后，何凯明团队又在Mask R-CNN中升级了ROI pooling，得到ROI align方法。

FasterRCNN详解
qq_35732321的博客
01-16 1万+
FasterRCNN详解1.2.2 FasterRCNN1 模型1.1 主干网络VGG16 or ResNet50.1.2 RPN生成建议框1.3 RCNN进行分类和回归2 预测2.1 预测流程3 训练3.1 训练流程3.2 生成标签3.3 损失函数 1.2.2 FasterRCNN FasterRCNN在FastRCNN的基础上，实现端到端的训练。算法分为3个部分。主干网络提取特征、RPN生成建议框、RCNN进行分类和回归。 FasterRCNN优点： 检测精度高。 RPN网络生成先验框。 通用型、鲁棒
原理解析—Faster R-CNN
~花花~
06-13 1万+
目录 1 Conv layers 2 Region Proposal Networks(RPN) 2.1 多通道图像卷积基础知识介绍 2.2 anchors 2.3 softmax判定positive与negative 2.4 bounding box regression原理 2.5 对proposals进行bounding box regression 2.6 Proposal Layer 3 RoI pooling 3.1 为何需要RoI Pooling 3.2 RoI Pooling原理 4 Cl
物体检测的基石：R-CNN 系列（Fast/Faster/Mask）的核心应用
kjkjhhdsa的博客
10-19 639
智能城市：交通管理系统检测车辆和行人流量，优化信号灯控制。娱乐与媒体：电影特效和AR应用中，实时分割演员或物体，实现逼真合成。农业科技：田间摄像头检测作物生长状态，支持精准农业。这些应用得益于R-CNN系列的渐进优化：R-CNN奠定了CNN基础，Fast R-CNN加速推理，Faster R-CNN实现实时性，Mask R-CNN扩展功能。据统计，在COCO数据集上，Mask R-CNN的mAP超过35%，成为工业标准。
FasterRCNN目标检测算法
追光少年的博客
05-02 6990
什么是FasterRCNN目标检测算法 Faster-RCNN是一个非常有效的目标检测算法，虽然是一个比较早的论文， 但它至今仍是许多目标检测算法的基础。 Faster-RCNN作为一种two-stage的算法，与one-stage的算法相比，two-stage的算法更加复杂且速度较慢，但是检测精度会更高。 事实上也确实是这样，Faster-RCNN的检测效果非常不错，但是检测速度与训练速度有待提高。 源码下载 https://gitee.com/yu_shaonian/faster-rc
目标检测-RCNN
念去去的博客
12-06 430
rcnn首先会做一个region proposal，也就是任意的找到一些疑似完整物体的区域，这一步是任意的，根据梯度信息找到一些边缘，然后就圈出来了。这一步会找到非常多的区域作为候选框，给接下来的分类提供素材。论文说的是找了两千多个 接着把那些候选框一个一个输入神经网络，算出特征 接着把算出的特征交给svm去做分类，得到分类与置信度。 最后每个类别在训练出四个向量，保证预测的时候特征这四个向量可...
Faster-RCNN网络
最白の白菜的博客
03-02 5224
Faster-RCNN网络 学习目标 熟悉FasterRCNN目标检测的思想 知道anchor（锚框）的思想 掌握RPN网络是如何进行候选区域的生成的 掌握ROIPooling的使用方法 知道fasterRCNN的训练方法 在R-CNN和Fast RCNN的基础上，在2016年提出了Faster RCNN网络模型，在结构上，Faster RCNN已经将候选区域的生成，特征提取，目标分类及目标框的回归都整合在了一个网络中，综合性能有较大提高，在检测速度方面尤为明显。接下来我们给大家详细介绍fasterR
一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
2501_90433253的博客
02-04 1959
评估方法：准确率输入：图片输出：方框在图片中的位置（x,y,w,h）评估方法：检测评价函数 intersection-over-union（关于什么是IOU，请参看七月在线APP题库大题查看深度学习分类下第55题：https://www.julyedu.com/question/big/kp_id/26/ques_id/2138）卷积神经网络CNN已经帮我们完成了图像识别（判定是猫还是狗）的任务了，我们只需要添加一些额外的功能来完成定位任务即可。定位的问题的解决思路有哪些？
Faster R-CNN 论文总结
2301_80740635的博客
07-27 1132
RPN通过滑动窗口机制遍历从卷积神经网络传来的特征图，在每一个位置生成9个anchors（分别为 Scales：128² px， 256² px， 512² px Aspect Ratios：1:1，1:2，2:1），对于每个锚框，RPN 输出一个对象性得分（objectness score）和相应的边界框回归（bounding box regression）。2.从剩余的预测框中选择一个与基准框的重叠面积最大的框，如果其重叠面积大于一定的阈值，则将其删除。2.经过卷积神经网络生成的特征图；
深度学习目标检测之 R-CNN 系列： 从 R-CNN 和 Fast R-CNN 到 Faster R-CNN
生命在于折腾！
03-19 776
深度学习目标检测之 R-CNN 系列： 从 R-CNN 和 Fast R-CNN 到 Faster R-CNN 深度学习目标检测之 R-CNN 系列包含 3 篇文章： 从 R-CNN 和 Fast R-CNN 到 Faster R-CNN Faster R-CNN 网络详解 用 Faster R-CNN 训练自己的数据 1. 前言 这一篇文章主要是从 R-CNN 的发展历程来介绍各个版本的 R...
目标检测——Mask R-CNN【请结合其他博客一起食用】
PRIS-SCMonkey的博客
03-22 8555
大家好 今天来到了我们Maskrcnn 的分享 由于MaskRCNN网络包含了很多之前介绍过的知识点，例如RPN，FPN，RoIPooling，RoIAlign，故这遍文章看上去显得比较‘单薄’，如果想弄清楚Mask RCNN网络，需要结合之前的博文一同食用~~ o(=•ェ•=)m 前言 本篇论文其实还是分割为主，但是目前我们的网络基础是分类和检测，知识积累还不够，所以如有分割问题解释...
Faster RCNN 结构总结
hugegrunt的博客
05-06 3298
本文重点介绍Faster RCNN的结构以及其中的一些注意事项。重点以偏重直观理解为主，不求严谨。对于Faster RCNN网络的训练方法并未在本文中提及。Fast RCNN提出了将SS找出的ROI映射到CNN网络提取出的feature map上的方法。而Faster RCNN 也继承了这一思路，并且在此基础上对ROI的提取方式做了改进。
faster rcnn
07-21
论文：《Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks》摘要：算法主要解决两个问题：1、提出区域建议网络RPN，快速生成候选区域；2、通过交替训练，使RPN和Fast-RCNN网络共享参数。
Faster R-CNN
08-27
基础知识，理论及实践
目标检测 | RCNN算法系列汇总+详解(包括Fast, Faster)
热门推荐
Zivid_Liu的博客
03-02 1万+
从RCNN到Fast RCNN，再到faster RCNN，你知道他们是怎么一步步升级的吗？
Faster-rcnn总结
qq229873466的博客
05-25 456
Faster-rcnn算法 训练 使用Image-net-pre-trained模型fine-tuning训练RPN网络 图片通过RPN网络获得RP，Image-net-pre-trained模型fine-tuning训练Fast-rcnn网络 使用Fast-rcnn网络conv层初始化RPN网络（共享conv权值），修改RPN独有的权值部分，训练得到一个新的RPN网络 图片通过新的RP
Faster rcnn总结
qq_45846573的博客
03-29 210
Faster RCNN 学习总结 Faster RCNN原文链接：论文原文 pytorch代码参考：点击下载 1.整体框架 原文中的整体框架如下图所示，分为特征提取，RPN，ROI，分类预测四个主要环节。 2.图片特征提取 图片特征提取采用的神经网络可以使用VGG16，ResNet50等网络，对输入图片的大小不做要求。不同大小的图片经过采样后得到形状不同的特征图。 3.RPN RPN网络的作用可以分为两个部分，如下所示： 网络的一部分为预测anchor框的相关信息，另一部分为判断anchor框为真实样本
RCNN目标检测
ferry的博客
12-30 206
RCNN目标检测总结 R-CNN fast R-CNN faster R-CNN mask R-CNN RCNN selection search ROI 耗时的串行式CNN前向传播，对于每一个RoI，都需要经过一个AlexNet提特征 SVM 使用bounding box regression进行目标包围框的修正 Fast RCNN selection search ROI poo...
基于Faster-RCNN的车辆检测系统实现
最新发布
12-23
<think>首先，用户的问题是基于引用内容构建一个车辆检测系统。用户引用了多个来源，其中提到Mask R-CNN和Faster R-CNN。用户的问题是：“我想查找基于Faster - RCNN实现车辆检测系统的方法 请问如何基于Faster - RCNN实现车辆检测系统”。 从引用中： - 引用[1]提到使用Mask R-CNN检测汽车，它基于Faster R-CNN。 - 引用[2]讨论优化Faster R-CNN用于行人检测。 - 引用[3]谈Mask R-CNN在车辆目标检测中的应用。 - 引用[4]解释了Faster R-CNN的步骤：RPN和R-CNN。 - 引用[5]描述结果展示，包括检测结果的位置信息。 所以，我需要基于Faster R-CNN实现车辆检测系统。 系统指令要求： - 行内数学表达式用$...$格式。 - 独立公式用$$...$$并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 引用的段落末尾添加引用标识。 bite - 回答结构清晰，逐步解决问题，保证真实可靠。 步骤： 1. **理解Faster R-CNN**：它是一种用于目标检测的深度学习模型，包括区域提议网络（RPN）和区域卷积神经网络（R-CNN）。 2. **实现步骤**： - 数据准备：收集和标注车辆检测数据集（如COCO、KITTI等）。 - 模型架构：使用Faster R-CNN架构。 - 训练：使用预训练模型在车辆数据集上微调。 - 评估：测试模型性能。 - 部署：实现实时检测系统。 3. **参考引用**：在回答中引用相关部分，例如，从引用[4]解释RPN和R-CNN。 结构化回答： - 介绍Faster R-CNN。 - 详细步骤。 - 代码示例。 - 生成相关问题。 代码示例：由于用户提到Python，我可以提供伪代码或简单代码片段。 确保真实可靠：基于标准实践。 最终输出： - 回答部分。 - 相关问题部分。 - 引用标识。 回答大纲： 1. **介绍Faster R-CNN**：简要解释模型。 2. **实现方法**： - 数据准备 - 模型构建 - 训练过程 - 评估和优化 - 结果展示（参考引用[5]） 3. **代码示例** 4. **总结** 5. **相关问题** 引用添加：在解释时，末尾加[^n]。 例如，在描述Faster R-CNN步骤时，加[^4]。 数学表达式：如果有数学内容，如损失函数，用$...$格式。 例如，损失函数：$L = L_{cls} + L_{reg}$。 但在车辆检测中，可能不需要复杂数学，除非必要。 </think> 以下是基于Faster R-CNN实现车辆检测系统的完整指南。我将根据您的查询和提供的引用内容，逐步解释实现方法。Faster R-CNN（Region-based Convolutional Neural Network）是一种高效的目标检测框架，通过区域提议网络（RPN）和区域卷积神经网络（R-CNN）实现高精度检测。引用[4]详细描述了其基础原理：RPN通过滑动窗口扫描图像，预测可能存在目标的区域（称为“提议”），然后R-CNN对这些提议进行分类和边界框回归。在车辆检测场景中，这能准确识别车辆位置和类别。 实现过程分为数据准备、模型构建、训练、评估和部署五个步骤。我将使用Python和深度学习框架（如TensorFlow或PyTorch）提供示例代码。整个过程参考了引用内容，确保真实可靠。 ### 1. 数据准备 车辆检测需要高质量的标注数据集。常用数据集包括： - **COCO数据集**：包含车辆类别，支持目标检测任务[^1]。 - **KITTI数据集**：专为自动驾驶场景设计，提供车辆标注。 - 自定义数据集：收集交通场景图像，使用工具（如LabelImg）标注车辆边界框（Bounding Box），格式为PASCAL VOC或COCO JSON。 数据预处理步骤： - 图像归一化：调整大小为固定尺寸（如$800 \times 600$）。 - 数据增强：应用翻转、旋转、缩放等，提高模型鲁棒性。 - 划分训练集、验证集和测试集（建议比例：70%:15%:15%）。 ### 2. 模型构建 Faster R-CNN架构包括两个核心组件： - **区域提议网络（RPN）**：使用卷积层生成目标提议。每个滑动窗口预测多个锚框（Anchor Boxes），并通过分类损失筛选。引用[4]提到，RPN利用高斯方法优化锚框生成。 - **R-CNN模块**：对RPN生成的提议进行分类和边界框回归。输出车辆类别（如轿车、卡车）和位置坐标。 模型优化策略（参考引用[2]和[3]）： - **特征提取网络**：使用ResNet-50或ResNet-101作为骨干网络（Backbone），提取深层特征，提升小目标检测精度[^2][^3]。 - **锚框设计**：针对车辆尺寸优化锚框比例（如宽高比$1:1, 2:1, 1:2$），加速收敛。 - **损失函数**：定义多任务损失函数： $$L = L_{cls} + L_{reg}$$ 其中$L_{cls}$是分类损失（Softmax交叉熵），$L_{reg}$是边界框回归损失（Smooth L1）。 在PyTorch中，使用预训练模型构建Faster R-CNN： ```python import torch import torchvision from torchvision.models.detection import FasterRCNN from torchvision.models.detection.rpn import AnchorGenerator # 加载预训练骨干网络（如ResNet50） backbone = torchvision.models.resnet50(pretrained=True) backbone.out_channels = 2048 # 设置输出通道数 # 定义锚框生成器（参考引用[4]的优化） anchor_generator = AnchorGenerator( sizes=((32, 64, 128, 256, 512),), # 锚框尺寸，适应车辆大小 aspect_ratios=((0.5, 1.0, 2.0),) # 宽高比 ) # 构建Faster R-CNN模型 model = FasterRCNN( backbone, num_classes=len(vehicle_classes), # 车辆类别数（如car, truck） rpn_anchor_generator=anchor_generator, box_roi_pool=torchvision.ops.MultiScaleRoIAlign(featmap_names=['0'], output_size=7, sampling_ratio=2) ) # 打印模型结构 print(model) ``` ### 3. 训练过程 - **输入数据**：加载预处理后的数据集（使用PyTorch DataLoader）。 - **超参数设置**： - 学习率：初始$0.005$，使用余弦退火调度。 - 批量大小：8（根据GPU内存调整）。 - 训练轮次：10-20 epochs。 - **损失优化**：使用SGD优化器，权重衰减$0.0005$。 - **微调策略**：在预训练模型（如COCO预训练权重）上微调，适应车辆检测任务。 训练代码示例： ```python from torch.utils.data import DataLoader import torch.optim as optim # 假设train_dataset是自定义数据集 train_loader = DataLoader(train_dataset, batch_size=8, shuffle=True) # 定义优化器和学习率调度器 optimizer = optim.SGD(model.parameters(), lr=0.005, momentum=0.9, weight_decay=0.0005) lr_scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=10) # 训练循环 model.train() for epoch in range(10): total_loss = 0.0 for images, targets in train_loader: # 前向传播 loss_dict = model(images, targets) losses = sum(loss for loss in loss_dict.values()) # 反向传播 optimizer.zero_grad() losses.backward() optimizer.step() total_loss += losses.item() lr_scheduler.step() print(f"Epoch {epoch+1}, Loss: {total_loss/len(train_loader)}") ``` ### 4. 评估和优化 - **评估指标**： - mAP（mean Average Precision）：计算检测精度，目标值$>0.7$[^5]。 - FPS（Frames Per Second）：测试实时性（目标$>30$ FPS）。 - **优化方法**（参考引用[2]）： - 小目标检测：使用特征金字塔网络（FPN）增强浅层特征。 - 实时性提升：量化模型或使用轻量骨干（如MobileNet）。 - 锚框聚类：应用高斯聚类算法生成更精确的锚框比例。 - **结果展示**：实现如引用[5]描述的界面，输出检测结果表格（包括目标类别、置信度、坐标位置）。 评估代码片段： ```python from torchvision.ops import box_iou def evaluate(model, test_loader): model.eval() all_predictions = [] with torch.no_grad(): for images, targets in test_loader: predictions = model(images) # 计算mAP（简化版） iou = box_iou(predictions[0]['boxes'], targets[0]['boxes']) # 实际应用中，使用COCO评估工具 print(f"mAP: {compute_map(all_predictions)}") ``` ### 5. 部署和实时检测 - **部署工具**：使用Flask或FastAPI构建Web接口。 - **实时处理**： - 输入：摄像头或视频流。 - 输出：检测结果实时显示（参考引用[5]，展示目标数量、类型、置信度和位置）[^5]。 - **性能保证**：在GPU环境中运行，确保毫秒级响应。 部署示例： ```python import cv2 from torchvision.transforms import functional as F # 加载训练好的模型 model.load_state_dict(torch.load('vehicle_detection_model.pth')) model.eval() # 实时视频检测 cap = cv2.VideoCapture('traffic_video.mp4') while cap.isOpened(): ret, frame = cap.read() if not ret: break # 预处理图像 img_tensor = F.to_tensor(frame).unsqueeze(0) # 预测 predictions = model(img_tensor) # 绘制边界框和标签 for box, label, score in zip(predictions[0]['boxes'], predictions[0]['labels'], predictions[0]['scores']): if score > 0.8: # 置信度阈值 cv2.rectangle(frame, (box[0], box[1]), (box[2], box[3]), (0,255,0), 2) cv2.putText(frame, f"{vehicle_classes[label]}: {score:.2f}", (box[0], box[1]-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255,0,0), 2) # 显示结果 cv2.imshow('Vehicle Detection', frame) if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows() ``` ### 总结 基于Faster R-CNN实现车辆检测系统能高效处理交通场景，关键是通过RPN生成提议和R-CNN精调检测。优化后，系统可达到高mAP和实时性能[^2]。实践中，您可以使用开源库（如Detectron2）加速开发。此方法已在自动驾驶领域广泛应用[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值