RCNN中的尺度缩放问题的理解（Bounding-Box regression）

最新推荐文章于 2023-12-05 20:54:59 发布
最新推荐文章于 2023-12-05 20:54:59 发布
阅读量907 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 人工智能 python
原文链接：https://segmentfault.com/a/1190000011918305
本文探讨了在RCNN模型中使用Bounding Box回归技术解决poor localization问题的方法。通过介绍IOU的概念及其在模型训练中的作用，解释了如何从Region Proposal生成更精确的目标边界框。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一.问题的引出

在阅读《Rich feature hierarchies for accurate object detection and semantic segmentation》的paper中分析了使用RCNN模型的错误率主要的原因来源于poor localization为了解决这个问题作者使用了Bounding-Box regression的做法来对模型进行优化通过对生成的边框进行调整。

二.详细理解

1.IOU的意义

clipboard.png

如图红色框和绿色框所示，红色框是我们生成的Region Proposal（具体怎么生成的不说明了）记为R，而绿色是我们的实际要达到的检测框（Ground Truth）记为G。那么IOU就是(R∩G)/(R∪G) 。定义这个的目的就是为了在训练时为已标定的Bounding-Box寻找一个能够扩张为该Bounding-Box的Region Proposal，当IOU小于某个值得时候就必须被丢弃，这样的具体原因是因为能够进行Bounding-Box regression的两个框的是差异比较小的，这样才能进行线性模拟（下面会讲述的）。

2.Bounding-Boxd的意思

clipboard.png

如上图中P是训练时生成的边框（要满足IOU的条件）GM为中间的经过回归的边框，G使我们训练样本中标定的边框。我们该如何从P生成到GM呢？首先我们需要知道该如何确定一个边框在一幅图的位置对于窗口一般使用四维向量(x,y,w,h)来表示， 分别表示窗口的中心点坐标和宽高。我们要将P变换到GM只需要进行平移后缩放就可以了，这是几何上的直观想法（本文中GM与P变换后的窗体指代一个对象）

clipboard.png
边框回归学习就是dx(P),dy(P),dw(P),dh(P)这四个变换。下一步就是设计算法那得到这四个映射。
那么问题就来了，我们从图形中获得的数据不可能真的是坐标，不然就成了在某个位置固定了对应得一个变换方法而不管该位置的图形到底是什么东西。我们获得的对象是该Region Proposal的特征向量，这也是十分合理的，想象一下人在确定一幅图中某个固定大小区域的对象时，如该区域只有对象的一部分图片，我们也是进行扩大视野最后就能看到整个对象了呀，最后的视野也就是Ground Truth。而人接受的输入时像素点，那么对应的在回归中就接受特征向量。
在人接受到图片是就知道该如何移动自己的目光来寻找整个对象，相当于人知道当前看到的部分在实际物体对象中所处的位置后，就知道该如何变换自己的目光和视野范围，如看到左半脸就知道将目光平移到右边再扩大自己的视野。类似的在接收到特定Region Proposal的特征向量，算法应该知道朝什么方向移动和如何进行尺度缩放（这些都是从训练中习得的）。这使用数学语言就是一种由特征向量向dx(P),dy(P),dw(P),dh(P)的映射关系！
如何能得到该关系呢，还是要进行训练，下图是我们追求的尺度变换的方法，也就是监督学习中的类似于label的量
clipboard.png

那么我们实际做的尺度变换可以定义为
d∗(P)=wT∗Φ5(P)， Φ5(P)是输入 Proposal 的特征向量，w∗是要学习的参数（*表示 x,y,w,h， 也就是每一个变换对应一个目标函数，也就是刚刚说的映射关系） , d∗(P)是得到的预测值。 我们要让预测值跟真实值t∗=(tx,ty,tw,th)差距最小， 得到损失函数为：

clipboard.png

优化函数为

clipboard.png

对于公式为什么才采用上述的格式参见参考的博主文章
http://m.blog.youkuaiyun.com/zijin0...
水平有限，敬请谅解

什么是边框回归Bounding-Box Regression？
优快云 精品推荐
08-09 1033
在目标检测任务中，除了识别出图像中的物体类别，还需要确定物体的精确位置，这就是边框回归的任务。边框回归的目标是从给定的物体位置（通常是一个初始边界框）开始，通过学习和预测修正值，使得模型能够准确地预测物体的边界框。总之，边框回归在多个领域中都有重要应用，通过精确定位目标物体的位置和大小，能够提升视觉任务的准确性和可靠性。在目标检测任务中，边框回归用于精确定位图像中的目标物体的位置和大小，以便进行更准确的识别和分类。在物体识别和分类任务中，边框回归有助于确定不同物体的位置和边界框，以便进行准确的分类和识别。
关于RCNN中Bounding-box regression的个人理解
Chester-py的专栏
10-10 7814
前言RCNN可以说是深度学习应用到目标检测领域一个不小的贡献。最近看了RNN的文章，对里面的Bounding-box regression回归不甚理解，google一番，把学到的东西写在这里。 参考的文章。为啥要回归鉴于bounding box太长，下面简写为bb，bounding box regression 简写为bbr。首先，原始的bb是用selective research选出来的，这相当
边框回归(Bounding Box Regression)详解
热门推荐
南有乔木NTU的博客
08-31 20万+
Bounding-Box regression最近一直看检测有关的Paper, 从rcnn， fast rcnn, faster rcnn, yolo, r-fcn, ssd，到今年cvpr最新的yolo9000。这些paper中损失函数都包含了边框回归，除了rcnn详细介绍了，其他的paper都是一笔带过，或者直接引用rcnn就把损失函数写出来了。前三条网上解释比较多，后面的两条我看了很多pape
Bounding-box regression
echo_hao的博客
03-20 459
在R-CNN中，作者应用了Bounding-box regression来改善目标的定位。 在训练中，输入是一系列的训练对{}，i=1,2,…,N，其中表示候选区域中心的坐标和宽度高度，接下来忽略P的上标i，然后用G来表示原图中每一个标好的框，G=(Gx,Gy,Gw,Gh)，最终的目标是学习一个函数将P转化成G。 依据4个函数,前两个公式表示的是中心的平移，接下来的两个公式表示的是宽度和高度的...
Bounding Box Regression
风行
09-23 340
图示 Pytorch代码(numpy.array) def loc2bbox(src_bbox, loc): if src_bbox.shape[0] == 0: return np.zeros((0, 4), dtype=loc.dtype) # 进行Bounding Box Regression # 首先计算P框，表示我们当前最优的框 src_bbox = src_bbox.astype(src_bbox.dtype, copy=False) s
caffeCN bounding-box regression详细解释 pdf
05-02
在设计bounding-box回归算法时，通常考虑的变换包括平移和尺度缩放。线性变换适用于提议框与真实边界框比较接近的情况（如R-CNN中IoU大于0.6的情形），此时可以使用线性回归来建模窗口的微调。在训练过程中，输入的...
深度学习中小知识点系列(十四) 解析Bounding Box Regression
专注于人工智能学习，总结
12-05 1268
那么这个映射关系中我们的。
边框回归(Bounding Box Regression)
梦沁清风
10-28 1082
转自：https://blog.youkuaiyun.com/zijin0802034/article/details/77685438  
Bounding-box_regression详解
08-18
bounding box regression
【目标检测】【边界框回归】Bounding-Box regression
wzk4869的博客
10-26 3717
【目标检测】【边界框回归】Bounding-Box regression
Single Bounding Box Regression（转载）
咚咚锵的博客
04-20 318
转载出处：https://blog.youkuaiyun.com/weixin_35653315/article/details/54571681
Bounding-box Regression详解
北望花村
03-13 879
　　转自http://caffecn.cn/?/question/160，作者沁心风雨。在此记录，供自己复习。    　R-CNN系列文章(Fast/ Faster RCNN)都训练了Bounding-box 回归器来对窗口进行校正，以提高最终的检测精度。那么这样做的好处是什么？具体的又该怎样去做呢？本文对窗口回归算法进行探讨。1.问题理解（为什么要做Bounding-box regression...
Bounding Box Regression超详解（全站最全汇总版）综合各个途径文档 看这一篇就够了 解决你所有疑惑
YOLOv8项目贡献者
11-21 9074
一文彻底搞懂Bounding Box Regression，我愿称之为最强Bounding Box Regression解析!
Bounding-box regression详解（边框回归）
ytusdc的博客
11-22 2702
参考文章： 1、后面对边框回归做了自己的解释需要看一下 https://blog.youkuaiyun.com/zijin0802034/article/details/77685438/ 2、公式（1）-（4）的推导 https://blog.youkuaiyun.com/u014433413/article/details/78194855 1、为什么要做Bounding-box regression...
Bounding-box Regression深度解析
博观而约取，深研而广求
08-24 6241
在R-CNN以及之后的系列文章中，都有Bounding-box Regression的使用，甚至到了MV3D等等的3D Bounding-box Regression, 其思想都是来源于最基础的Bb Regression的。我将从以下几个角度主要结合自己的理解来谈一谈Bounding-box Regression. 首先，讲一下bounding-box regression使用的动机及其解决的问题，
边框回归（Bounding Box Regression）详解以及数学公式详解
weixin_44623637的博客
02-08 2202
为什么要边框回归？ 什么是边框回归？ 边框回归怎么做？ 边框回归宽高，坐标为什么这样设计？ 为什么边框回归 只能微调，在离Ground Truth近的时候才能有效？ 为什么要边框回归？ 这里引入别人的理解，如图： 对于上图，绿色的框表示Ground Truth, 红色的框为Selective Search提取的Region Proposal。那么即便红色的框被分类器识别为飞机，但是由于红色的...
边框回归（Bounding Box Regression）个人理解手记
Ahuoze的博客
02-26 1160
本文仅是个人参考他人大佬观点的个人笔记，很多只为方便个人理解理解，不喜勿喷（新人瑟瑟发抖）。 原文链接:https://blog.youkuaiyun.com/zijin0802034/article/details/77685438 边框回归为处理何种情况 图中红框为最开始确定的锚框，绿框为Ground Truth，很明显二者相差较大，这就是(IoU<0.5)的情况，就是与Ground Truth交...
gion proposals。该层通过softmax判断anchors属于positive或者negative，再利用bounding box regression修正anchors获得精确的proposals。Roi Pooling。该层收集输入的feature maps和prop
最新发布
04-01
### RPN 和 RoI Pooling 的工作原理及实现细节 #### Region Proposal Network (RPN) RPN 是一种轻量级的卷积神经网络，其主要功能是从图像中生成候选区域（Region of Interest, ROI）。它通过滑动窗口的方式，在特征图上提取固定大小的区域提议，并对其进行分类和边界框回归调整。 - **Anchors**: Anchors 是预定义的一组矩形框，覆盖整个输入图片的不同位置、尺度和宽高比例。这些锚框作为初始候选区域的基础[^2]。 - **Positive/Negative Labels**: 对于每个 anchor，如果它的 IoU（Intersection over Union）与真实目标框（Ground Truth Box）大于某个阈值，则标记为正样本；反之，IoU 小于另一个较低阈值的被标记为负样本。其余情况通常忽略不计。 - **Softmax Classification**: 使用 Softmax 函数对 anchors 进行二分类判断——即区分前景对象还是背景噪声。这一步骤帮助筛选出可能包含物体的目标建议区。 - **Bounding Box Regression**: 针对那些被认为是正面实例的 proposals，应用边框回归技术进一步优化它们的位置参数。具体而言，通过对原始 anchor 应用平移缩放操作来逼近实际标注框的真实坐标[^3]。 ```python import torch.nn as nn class RPN(nn.Module): def __init__(self, in_channels=512, num_anchors=9): super(RPN, self).__init__() # 卷积层用于特征映射 self.conv = nn.Conv2d(in_channels=in_channels, out_channels=512, kernel_size=3, stride=1, padding=1) # 分类分支预测每个anchor属于前景或背景的概率 self.cls_conv = nn.Conv2d(512, num_anchors * 2, kernel_size=1) # 回归分支估计bounding box偏移量 self.reg_conv = nn.Conv2d(512, num_anchors * 4, kernel_size=1) def forward(self, x): x = F.relu(self.conv(x)) cls_scores = self.cls_conv(x).permute(0, 2, 3, 1).contiguous().view(-1, 2) # 转换形状以便softmax处理 bbox_preds = self.reg_conv(x).permute(0, 2, 3, 1).contiguous().view(-1, 4) # 输出四个维度表示dx, dy, dw, dh return cls_scores, bbox_preds ``` #### RoI Pooling Layer RoI Pooling 层的作用在于接收由 RPN 提供的多个不同尺寸的 region proposals，以及来自 CNN 主干网路产生的全局 feature map，统一裁剪并重采样成固定的 H×W 大小后再传递给全连接层或其他下游模块继续完成检测任务。 - 输入包括两部分：一是完整的 feature maps；二是经过初步挑选后的若干 proposal boxes[^1]。 - 计算过程大致如下： - 根据每一个 proposal 所对应的原图范围找到对应在 feature map 上的小块； - 利用双线性插值法或者其他方法对该局部区域执行空间上的量化分割； - 最大池化或者平均池化得到最终标准化后的 tensor 片段。 ```python def roi_pooling(feature_map, rois, pooled_height, pooled_width): """ :param feature_map: Tensor with shape [batch_size, channels, height, width]. :param rois: List of regions-of-interest tensors. :return: Pooled features from each ROI. """ batch_size, num_channels, data_height, data_width = feature_map.size() outputs = [] for i in range(len(rois)): roi_start_w, roi_start_h, roi_end_w, roi_end_h = rois[i].type(torch.int32)[0] region = feature_map[:, :, roi_start_h:(roi_end_h + 1), roi_start_w:(roi_end_w + 1)] pooled_feature = F.adaptive_max_pool2d(region, output_size=(pooled_height, pooled_width)) outputs.append(pooled_feature.flatten()) return torch.stack(outputs) ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值