maskrcnn_benchmark 代码详解之 modeling/rpn/utils.py

最新推荐文章于 2024-04-20 15:27:17 发布

原创

最新推荐文章于 2024-04-20 15:27:17 发布 · 898 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#utils.py #FPN特征融合 #maskrcnn_benchmark #loss

本文详细解析了maskrcnn_benchmark库中modeling/rpn/utils.py文件的功能，特别是针对采用FPN的RPN层如何融合不同层的特征图进行介绍。该工具类有助于实现FPN特征的统一处理和损失计算。

前言：

　　在backbone如果采用了FPN, 则RPN层需要将FPN的不同层得到的特征图进行融合。maskrcnn_benchmark将该多层融合的工具函数写入了modeling/rpn/utils.py中，通过该工具类，可以将不同层的特征融合起来，进行统一处理。其代码详解为：

# Copyright (c) Facebook, Inc. and its affiliates. All Rights Reserved.
"""
Utility functions minipulating the prediction layers
"""

from ..utils import cat

import torch


# todo　改变特征层的维度
def permute_and_flatten(layer, N, A, C, H, W):
    # 将特征层格式化为特定的维度数据
    layer = layer.view(N, -1, C, H, W)
    # 改变特征层中不同维度之间的显示顺序
    layer = layer.permute(0, 3, 4, 1, 2)
    # 将特征层中除了通道数和图片数以外的其他维度合并在一起
    layer = layer.reshape(N, -1, C)
    return layer


# todo　将所有的特征图拼接到一起
def concat_box_prediction_layers(box_cls, box_regression):
    """
    由RPN HEAD获得的box_cls和box_regression分别表示从FPN获得的不同层的特征图上
    将通道数分别修正为锚点(anchor)的ratio个数和其个数×４
    RPN HEAD获得的特征图大小的含义为：每一个特征图上每一个位置的一个点表示其位置对应的锚点
        不同的特征图代表不同的锚点大小，特征图大小越大对应的锚点即越小
    box_cls和box_regression的通道数含义：box_cls的通道为ratio个数表示每一个通道对应每一种rati