李沐【动手学深度学习】42锚框笔记

原创

已于 2024-02-09 10:13:07 修改 · 1.4k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#笔记

于 2024-02-09 00:43:59 首次发布

本文介绍了深度学习中锚框生成的过程，包括生成多个不同缩放比和宽高比的边界框，使用IoU计算目标匹配，以及通过非极大值抑制合并预测边界框。详细展示了如何在多尺度和多比例的图像上进行目标检测和预测。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考视频：锚框_哔哩哔哩_bilibili

锚框(anchors)：以每个像素为中心，生成的多个缩放比和宽高比不同的边界框。

一、锚框流程

1.生成多个锚框。

2.预测每个锚框是否含有关注的物体。

3.如果有，预测这个锚框到真实框的偏移。

二、生成多个锚框

缩放比（scale）， $s_{1},s_{2},s_{3},......s_{n}$

宽高比（aspect ratio）, $r_{1},r_{2},r_{3},......r_{m}$

对图像中每个像素点，生成宽为 $hs\sqrt{r}$ ，高为 $hs/\sqrt{r}$ 的锚框,共有whnm个锚框。但计算复杂性很容易过高,在实践中，我们只考虑包含s1或r1的组合。

代码

def multibox_prior(data, sizes, ratios):
    """生成以每个像素为中心具有不同形状的锚框"""
    in_height, in_width = data.shape[-2:]
    device, num_sizes, num_ratios = data.device, len(sizes), len(ratios)
    boxes_per_pixel = (num_sizes + num_ratios - 1)
    size_tensor = torch.tensor(sizes, device=device)
    ratio_tensor = torch.tensor(ratios, device=device)

    # 为了将锚点移动到像素的中心，需要设置偏移量。
    # 因为一个像素的高为1且宽为1，我们选择偏移我们的中心0.5
    offset_h, offset_w = 0.5, 0.5
    steps_h = 1.0 / in_height  # 在y轴上缩放步长
    steps_w = 1.0 / in_width  # 在x轴上缩放步长

    # 生成锚框的所有中心点
    center_h = (torch.arange(in_height, device=device) + offset_h) * steps_h
    center_w = (torch.arange(in_width, device=device) + offset_w) * steps_w
    shift_y, shift_x = torch.meshgrid(center_h, center_w, indexing='ij')
    shift_y, shift_x = shift_y.reshape(-1), shift_x.reshape(-1)

    # 生成“boxes_per_pixel”个高和宽，
    # 之后用于创建锚框的四角坐标(xmin,xmax,ymin,ymax)
    w = torch.cat((size_tensor * torch.sqrt(ratio_tensor[0]),
                   sizes[0] * torch.sqrt(ratio_tensor[1:])))\
                   * in_height / in_width  # 处理矩形输入
    h = torch.cat((size_tensor / torch.sqrt(ratio_tensor[0]),
                   sizes[0] / torch.sqrt(ratio_tensor[1:])))
    # 除以2来获得半高和半宽
    anchor_manipulations = torch.stack((-w, -h, w, h)).T.repeat(
                                        in_height * in_width, 1) / 2

    # 每个中心点都将有“boxes_per_pixel”个锚框，
    # 所以生成含所有锚框中心的网格，重复了“boxes_per_pixel”次
    out_grid = torch.stack([shift_x, shift_y, shift_x, shift_y],
                dim=1).repeat_interleave(boxes_per_pixel, dim=0)
    output = out_grid + anchor_manipulations
    return output.unsqueeze(0)

显示以图像中以某个像素为中心的所有锚框，定义下面的show_bboxes函数来在图像上绘制多个边界框

def show_bboxes(axes, bboxes, labels=None, colors=None):
    """显示所有边界框"""
    def _make_list(obj, default_values=None):
        if obj is None:
            obj = default_values
        elif not isinstance(obj, (list, tuple)):
            obj = [obj]
        return obj

    labels = _make_list(labels)
    colors = _make_list(colors, ['b', 'g', 'r', 'm', 'c'])
    for i, bbox in enumerate(bboxes):
        color = col