Faster-RCNN中RPN网络的实现细节笔记（一）

最新推荐文章于 2025-03-25 07:30:00 发布

zhangyuge1994

最新推荐文章于 2025-03-25 07:30:00 发布

阅读量691

点赞数

分类专栏：深度学习文章标签： python tensorflow 神经网络 faster-RCNN 机器视觉

本文链接：https://blog.youkuaiyun.com/s564200489/article/details/89488792

版权

深度学习专栏收录该内容

2 篇文章

订阅专栏

本文详细解析了RPN网络中预测偏移量ti与实际偏移量ti*的概念，阐述了它们在训练和测试过程中的作用。通过具体代码示例，展示了如何计算ti*及如何根据预测偏移量和anchors反向计算ROI。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

关于损失函数

先列公式：

在这里插入图片描述

其中公式1中的Lreg(ti , ti) = smoothL1(ti - ti)
那么ti 和 ti* 分别是什么呢？
ti 为RPN网络预测的偏移量
ti* 为 anchors 到 GT box 的实际的偏移量。
所以RPN网络实际上学习的是从anchors 到真实
通过公式2，可以知道偏移量的计算方法。实际上在训练时我们只需要计算ti*,因为 ti 是通过特征MAP 全连接得到的。
而在测试时则需要根据公式2反向推导出网络预测出的ROI(兴趣区域).**

ti* 的代码以及 ta的计算代码

以下代码来自项目 tf-faster-rcnn
计算ti* :

def bbox_transform(ex_rois, gt_rois):
  ex_widths = ex_rois[:, 2] - ex_rois[:, 0] + 1.0
  ex_heights = ex_rois[:, 3] - ex_rois[:, 1] + 1.0
  ex_ctr_x = ex_rois[:, 0] + 0.5 * ex_widths
  ex_ctr_y = ex_rois[:, 1] + 0.5 * ex_heights

  gt_widths = gt_rois[:, 2] - gt_rois[:, 0] + 1.0
  gt_heights = gt_rois[:, 3] - gt_rois[:, 1] + 1.0
  gt_ctr_x = gt_rois[:, 0] + 0.5 * gt_widths
  gt_ctr_y = gt_rois[:, 1] + 0.5 * gt_heights

  targets_dx = (gt_ctr_x - ex_ctr_x) / ex_widths
  targets_dy = (gt_ctr_y - ex_ctr_y) / ex_heights
  targets_dw = np.log(gt_widths / ex_widths)
  targets_dh = np.log(gt_heights / ex_heights)

  targets = np.vstack(
    (targets_dx, targets_dy, targets_dw, targets_dh)).transpose()
  return targets

反向计算根据anchors 和预测的偏移量计算 ta:


def bbox_transform_inv(boxes, deltas):
  if boxes.shape[0] == 0:
    return np.zeros((0, deltas.shape[1]), dtype=deltas.dtype)

  boxes = boxes.astype(deltas.dtype, copy=False)
  widths = boxes[:, 2] - boxes[:, 0] + 1.0
  heights = boxes[:, 3] - boxes[:, 1] + 1.0
  ctr_x = boxes[:, 0] + 0.5 * widths
  ctr_y = boxes[:, 1] + 0.5 * heights

  dx = deltas[:, 0::4]
  dy = deltas[:, 1::4]
  dw = deltas[:, 2::4]
  dh = deltas[:, 3::4]
  
  pred_ctr_x = dx * widths[:, np.newaxis] + ctr_x[:, np.newaxis]
  pred_ctr_y = dy * heights[:, np.newaxis] + ctr_y[:, np.newaxis]
  pred_w = np.exp(dw) * widths[:, np.newaxis]
  pred_h = np.exp(dh) * heights[:, np.newaxis]

  pred_boxes = np.zeros(deltas.shape, dtype=deltas.dtype)
  # x1
  pred_boxes[:, 0::4] = pred_ctr_x - 0.5 * pred_w
  # y1
  pred_boxes[:, 1::4] = pred_ctr_y - 0.5 * pred_h
  # x2
  pred_boxes[:, 2::4] = pred_ctr_x + 0.5 * pred_w
  # y2
  pred_boxes[:, 3::4] = pred_ctr_y + 0.5 * pred_h

  return pred_boxes