ROI pooling与ROI align

最新推荐文章于 2023-02-14 09:49:04 发布
最新推荐文章于 2023-02-14 09:49:04 发布
阅读量320 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习 roi pooling roi align 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/s6977880/article/details/98630244
本文详细介绍了深度学习中用于目标检测的两种关键方法：ROIpooling和ROIalign。ROIpooling最早由Kaiming He提出，解决了深度卷积网络输入图像需要固定大小的问题。而ROIalign则是在Mask R-CNN中提出的改进版，通过避免量化误差提高了特征对齐的准确性。

1、ROI pooling
比较早出现这个是Kaiming He的"Spatial Pyramid Pooling in Deep convolutional Networks for Visual Recognition"。之所以要提出这个东东，主要是因为深度卷积网络的输入图像需要固定的大小，这是因为要满足最后的全连接层输入需要固定长度的需求。
在这里插入图片描述
上图就是作者实现roi pooling的方法。把最后一个卷积层和全连接层之间的池化层改造成spatial pyramid pooling(SPP)层。每个spatial bin采用池化操作（文章中采用最大值池化）。SPP输出的维度是kMkMkM，kkk是最后一层卷积层输出的通道数，MMM是bin的个数。这就可以固定任意大小输入图像的输出维数。roi pooling涉及到量化。
Fast rcnn中roi pooling计算方法和spp计算类似。

2、ROI align
roi align是mask r-cnn文章中提出了，在图像分割任务中，roi pooling由于量化的存在，使得特征图中点的坐标和输入图像中点的坐标不能一一对应，因此才提出roi align方法的。
方法也很简单，和roi pooling过程一样，只是没有量化，计算的浮点数的值采用双线性插值进行计算。
在这里插入图片描述

【AI面试】RoI Pooling 和 RoI Align 方法辨析
钱多多先森
05-14 851
目标检测和分割任务中，对ROI的操作汇总和对比
计算机视觉 | 面试题：19、ROI Pooling 和 ROI Align 的区别是什么
Mrrunsen的博客
09-09 961
问题 ROI Pooling 和 ROI Align 的区别是什么 ROI Pooling 和 ROI Align 是什么 如果你对目标检测网络 Faster R-CNN 和实例分割网络 Mask R-CNN 网络比较熟悉的话，那你应该也对这个话题非常熟悉。 在区域建议网络 RPN 得到候选框 ROI 之后，需要提取该 ROI 中的固定数目的特征（例如Faster R-CNN中的 7*7 ）输入到后面的分类网络以及边界回归网络的全连接层中。Faster R-CNN中使用的方法是 ROI Pooling，而对
RoI Pooling 和 RoI Align
Tian__Gao的博客
04-28 5272
RoI Pooling 和 RoI Align一、基本概念 一、基本概念 RoI（Region of Interest）是通过不同区域选择方法，从原始图像（original image）得到的候选区域（proposal region）
RoIPooling与RoIAlign
comea23的博客
04-04 631
直接上代码。 import numpy import torch import torchvision torch.random.manual_seed(0) x1, y1, x2, y2 = 0.0, 16.0, 16.0, 32.0 #RoIPooling的池化后输出3×3大小的特征图.图像尺寸为224，特征图尺寸为14，下采样倍数16. RoIPooling = torchvision.ops.RoIPool(output_size=3, spatial_scale=1/16) #设定原始图像的尺寸
RoIPooling、RoIAlign
清风拂面
06-13 525
功能：将不同size的ROI区域映射到固定大小的feature map上 1.RoIPooling 这个可以在Faster RCNN中使用以便使生成的候选框region proposal映射产生固定大小的feature map 先贴出一张图，接着通过这图解释RoiPooling的工作原理 针对上图 1)Conv layers使用的是VGG16，feat_strid...
【深度学习】RoI Pooling 与 RoI Align
rocking_struggling的博客
02-14 1084
ROI Pooling与ROI Align简介
ROIPooling和ROIAlign
qq_43258953的博客
11-24 212
ROIPooling使用在faster RCNN object detection网络中，用于生成object位置候选框。 1)Conv layers使用的是VGG16或其他特征提取网络，feat_stride=32(即表示，经过网络层后特征图缩小为原图的1/32),如果原图800800,最后一层特征图feature map大小:2525 2)假定原图中有一region proposal，大小为...
40_解释 ROI Pooling 和 ROI Align 的区别1
08-03
ROI Pooling 和 ROI Align 的区别 在目标检测网络 Faster R-CNN 和实例分割网络 Mask R-CNN 中，对候选框 ROI 中的固定数目特征的提取非常重要。 ROI Pooling 和 ROI Align 都是用于提取 ROI 中的特征，但是它们有...
ROI Pooling 与 ROI Align 计算示例图解
阿辉的博客
06-22 3972
ROI Pooling 与 ROI Align 假设原图尺寸大小为256×256，预测ROI的坐标为(6.4, 12.8, 153.6, 172.8),特征图大小为8×8。现在要将ROI池化成3×3大小。我们来对比一下Roi pooling 和 ROI Align的区别。 将ROI区域映射到特征图上 对于ROI pooling而言，计算出来的坐标要取整，结果为（1,1,4,5），此处进行了第一次量...
RPN、ROI Pooling 与 ROI Align
啥也不会的博客
11-24 574
RPN层、ROI Pooling
RoIPooling与RoIAlign的区别
kk123k的博客
01-20 1万+
一、RoIPooling与RoIAlign 1.1、RoIPooling 通过对Faster RCNN的学习我妈了解的RolPooling可以使生成的候选框region proposal映射产生固定大小的feature map 先贴出一张图，接着通过这图解释RoiPooling的工作原理  针对上图       1)Conv layers使用的是VGG16，feat_stride=3...
FAST R-CNN之ROI Pooling与 ROI align
shuijinghua的博客
06-05 817
参考博客：https://blog.youkuaiyun.com/auto1993/article/details/78514071 为什么需要RoI Pooling？ 答：在FAST R-CNN中，特征被共享卷积层一次性提取，因此对于每个roi而言，需要从共享卷积层上摘取对应的特征，并且送入全连接层进行分类。因此，ROI Pooling做2件事 task 1: 为每个roi选取对应的特...
RoIPooling和RoIAlign（三）
qq_43258953的博客
11-24 209
1.RoIPooling RoIPooling顾名思义对ROI进行Pooling操作，主要用于目标检测任务。ROI（Region of interest）指的是一张图片中认为有存在目标的区域，例如下图中的蓝色和红色区域，这里我们不用去管ROI是如何提取的。 一般使用到RoIPooling的网络结构为： 输入图片->多层卷积->对卷积后feanture map的ROI进行 max po...
ROI Pooling和ROI Align
lt1103725556的博客
05-25 504
这两个问题一直不求甚解，今天又遇到了，是时候把它解决了 参考https://www.cnblogs.com/wangyong/p/8523814.html https://blog.youkuaiyun.com/yychentracy/article/details/100172729 看了一些博客，好多都没讲清楚，直接就一个bin取四个点然后取最大值，都没说这个bin是怎么来的，为什么要取最大值，这篇博客讲得就比较清楚，我在这里按自己的理解再梳理一遍 ROI Pooling 为什么要做这个？ 答：再得到propos
详解ROI-Pooling与ROI-Align
weixin_43750626的博客
09-21 1200
介绍ROI-Pooling与ROI-Align计算过程，从而分析两者区别
详解ROI Pooling和ROI Align
thisiszdy的博客
04-06 4420
参考博客：https://blog.youkuaiyun.com/u011918382/article/details/79455407 ROI Align 是在Mask-RCNN这篇论文里提出的一种区域特征聚集方式, 很好地解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的问题。实验显示，在检测测任务中将 ROI Pooling 替换为 ROI Align 可以提升检...
ROI Pooling和ROI Align详解
qq_40016998的博客
07-20 1017
参考原文 ROI Pooling和ROI Align都是用来将任意尺度的feature转换为同一尺度的feature。 用RPN生成的bbox的尺度不同，需要将不同尺度的feature送到一个固定尺度的全连接层进行操作。 ROI Pooling 思想： 利用区域均分池化的操作，将任意大小的feature map转换为同一尺度。 上图中对于任意feature map，进行4x4的区域均分，并对每个区域进行max pooling操作，得到4x4的特征向量；再进行2x2，1x1的区域均分和max pooling操
Faster RCNN原理篇（二）——RoIPooling和RoIAlign的学习和理解
热门推荐
Yale-曼陀罗
12-14 1万+
RoIPooling和RoIAlign的学习和理解绪论RoI pooling的前世今生1、（Why?）为何需要RoI Pooling？2、（What?）什么是RoI Pooling？3、（How?）RoI Pooling的计算过程？4、Region of interest pooling — exampleRoIAlign的提出和原理1、（Why？）RoIAlign提出的原因RoIPooling与SPP的异同6、RoI pooling与RoI Align的相同点7、双线性插值法 绪论 附上Mask R-CN
ROI Pooling/ROI Align
最新发布
02-27
### ROI Pooling 和 ROI Align 的概念 #### ROI Pooling ROI (Region of Interest) Pooling 是一种用于将不同大小的输入转换成固定尺寸输出的技术。该方法通过将候选区域划分为相同数量的小块，然后对每一小块执行最大池化操作来获取固定维度的特征向量。这种方法确保了无论原始候选框的实际大小如何，最终得到的特征映射都具有相同的宽度和高度。 然而，在实际应用中发现，由于采用了量化的方式确定子区域边界，这可能会引入一些误差，因为这些边界的坐标通常是浮点数而被强制转成了整数值[^1]。 ```python def roi_pooling(feature_map, rois, pooled_height, pooled_width): """ 实现简单的ROI Pooling算法 参数: feature_map -- 特征图 rois -- 候选区域列表 pooled_height -- 输出的高度 pooled_width -- 输出的宽度 返回: pooled_rois -- 经过pool后的rois """ num_rois = len(rois) channels = feature_map.shape[-1] pooled_rois = np.zeros((num_rois, pooled_height, pooled_width, channels)) for i in range(num_rois): h_start, w_start, h_end, w_end = map(int, rois[i]) # 将roi划分成pooled_height * pooled_width个小格子 bin_size_h = (h_end - h_start) / float(pooled_height) bin_size_w = (w_end - w_start) / float(pooled_width) for ph in range(pooled_height): for pw in range(pooled_width): h1 = int(np.floor(ph * bin_size_h + h_start)) w1 = int(np.floor(pw * bin_size_w + w_start)) h2 = int(np.ceil((ph + 1) * bin_size_h + h_start)) w2 = int(np.ceil((pw + 1) * bin_size_w + w_start)) # 执行max pooling pooled_rois[i, ph, pw, :] = np.max( feature_map[h1:h2, w1:w2], axis=(0, 1)) return pooled_rois ``` #### ROI Align 为了克服上述提到的问题，ROI Align 被设计出来作为改进方案。与传统的ROI Pooling不同的是，ROI Align 不会简单地取最接近的位置来进行采样，而是采用双线性插值的方法精确计算出对应位置上的像素值。具体来说，对于每一个bin内的四个最近邻点，根据它们之间的相对距离加权求得目标位置处的真实响应值。这样做的好处是可以更准确地保留物体的空间信息而不受网格化的负面影响。 ```python def bilinear_interpolate(im, y, x): """Bilinear interpolation function.""" height, width = im.shape[:2] if y < 0 or y > height - 1 or x < 0 or x > width - 1: return 0 y_low = int(math.floor(y)) x_low = int(math.floor(x)) y_high = min(height - 1, math.ceil(y)) x_high = min(width - 1, math.ceil(x)) ly = y - y_low lx = x - x_low hy = 1. - ly hx = 1. - lx v1 = im[y_low, x_low] v2 = im[y_low, x_high] v3 = im[y_high, x_low] v4 = im[y_high, x_high] w1 = hy * hx w2 = hy * lx w3 = ly * hx w4 = ly * lx val = w1*v1 + w2*v2 + w3*v3 + w4*v4 return val def roi_align(feature_map, rois, pooled_height=7, pooled_width=7, sampling_ratio=-1): """ 实现简单的ROI Align算法 参数: feature_map -- 输入特征图 rois -- 区域建议框 pooled_height -- 池化后高度，默认为7 pooled_width -- 池化后宽度，默认为7 sampling_ratio -- 抽样的比例因子，默认自适应调整(-1) 返回: aligned_features -- 对齐后的特征矩阵 """ batch_size, _, feat_height, feat_width = feature_map.size() num_rois = rois.size()[0] device = feature_map.device aligned_features = torch.zeros([num_rois, feature_map.size(1), pooled_height, pooled_width]).to(device=device) for n_roi in range(num_rois): start_y, start_x, end_y, end_x = rois[n_roi].tolist() roi_width = max(end_x - start_x, 1.) roi_height = max(end_y - start_y, 1.) bin_size_h = 1. * roi_height / pooled_height bin_size_w = 1. * roi_width / pooled_width sample_num_h = ( sampling_ratio if sampling_ratio > 0 else ceil(bin_size_h)) + 1 sample_num_w = ( sampling_ratio if sampling_ratio > 0 else ceil(bin_size_w)) + 1 for ph in range(pooled_height): for pw in range(pooled_width): # 计算当前bin中心点相对于原图的比例偏移 yc = (start_y + ph * bin_size_h + ((sample_num_h - 1.) / 2.) * (bin
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值