关于SSD实现流程的理解-- sample及prior_box

SSD实现详解：数据增强与prior_box

最新推荐文章于 2022-09-26 18:03:53 发布

原创

最新推荐文章于 2022-09-26 18:03:53 发布 · 3.6k 阅读

8 ·

CC 4.0 BY-SA版权

本文详述了SSD（Single Shot MultiBox Detector）的实现流程，包括数据增强步骤，如图像扭曲、扩张、随机裁剪以及数据变换。接着分析了网络结构，特别是MobileNet-SSD的修改。重点讲解了prior_box的选择及其在推理过程中的作用，以及正负样本的确定策略。

使用的代码的github链接：https://github.com/chuanqi305/MobileNet-SSD.git

在用mobilenet-ssd训练模型的过程中，对SSD的实现流程产生了困惑，通过参考代码及网上各种博客，梳理如下：

1）SSD的data augmentation和sampler

2）网络结构模型

3）prior_box的选取及infer的过程

备注：对于train.prototxt中设置的各种参数含义不理解可以参看caffe.proto文件，里面都有解释。

SSD代码在caffe.proto中新增了部分参数：

1、SSD的数据增广操作

数据经过Annotated data layer层后，图像和图像中的目标框被提取出来并保存。

之后，数据要经过一系列的变换，依次为：

(1) Image distortion;

(2) Image expansion;

(3) Sampling a random crop window;

(4) Data transform: Adding noise, resizing,

（1）主要是图像的各种参数调整，这里的参数最好使用推荐值

操作对象是原始图片的副本，并非原始图片

（2）Image expansion

这一步的作用主要在于放大原始图像，prob指概率，max_expand_ratio可以理解为放大成原图像的几倍。这里是以一种嵌入的方式实现放大，在原始图像周围填充像素值实现放大。

最低0.47元/天解锁文章

新学期VIP享超值加赠

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

xiaomaomao6

关注关注

3
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

SSD源码解读 - multibox_loss_layer

wyg1997

09-13

1544

上一篇博客说了DetectionOut层怎么从conf、loc、prior中获取检测框，是检测的关键代码。现在我们回到训练环节，看一下Mutibox层是怎么计算loss并完成反向传播的。首先贴一个MutiboxLoss层的prototxt配置： layer { name: "mbox_loss" type: "MultiBoxLoss" bottom: "CatBac...

SSD目标检测-昇思25天打卡

bearang的博客

07-21

545

SSD目标检测-昇思25天打卡

参与评论您还未登录，请先登录后发表或查看评论

prior_box层

weixin_34324081的博客

06-26

190

https://www.jianshu.com/p/5195165bbd06 1.step_w、step_h其实就相当于faster中的feat_stride,也就是把这些点从feature map映射回原图,同时也可以看出min_size、max_size这些都是直接在针对原图来讲的 2.以mobileNet-ssd为例子:https://github.com/chuanqi305/Mobile...

SSD数据处理、训练与预测流程记录

01-06

写在前面：本文不详细介绍SSD，只记录一些大体流程，具体细节可见参考1，换用数据集训练SSD可见参考2 参考1：SSD代码细节讲解参考2：SSD换数据集训练给定图片如何得到对应的GT SSD网络若指定了先验框的minsize和maxsize，则整个图片的所有先验框位置均固定。拿300SSD来说，可以得到8372个位置确定的先验框（存于model_data/prior_boxes_ssd300.pkl）图片所标注的物体位置（真实框）和所属类别（存于2007_train.txt）计算真实框对应的先验框，与这个先验框应当有的预测结果。【输入：8372先验框和图片标注的信息，输出：assig

4.训练自己模型的SSD完整详细步骤.zip--深度学习文章4

06-04

--Tensorflow+SSD+Yolo（目标检测）文章4.训练自己模型的SSD完整详细步骤该资源是本篇文章的操作步骤以及参考帖子的截图，以防参考帖子失效。

SSD训练步骤

weixin_41521196的博客

05-07

1120

1、将数据集和标签文件放到vocdevikt文件夹下的文件夹里（对应放入） Annotations和JPEGImages放.xml和原数据集图片，建立ImageSets文件夹里建立Main放四个空文档。注意：标签文件和图片文件的名字一定要一样！！！尤其是.xml中的filename（文件名字），后缀也要一样！！！不然会报错： 2、将权重文件压缩包放到src文件夹下 3、在.json文件里改类名 smoke后应该是2 依次类推后面是3、4、5等 4、Train_ssd300.py里的crea

训练SSD

qq_34951080的博客

09-24

439

记录一下训练SSD过程中所遇到的问题。 1,下载Caffe git clone https://github.com/weiliu89/caffe.git cd caffe 2,编译Caffe 第一步： cp Makefile.config.example Makefile.config 这是复制原有配置文件，生成新的配置文件。第二步： make -j8 make py make

SSD: Single Shot MultiBox Detector 模型fine-tune和网络架构

Jesse_Mx的博客

06-30

1万+

前言博主在上一篇中提到了两种可能的改进方法。其中方法1，扩充类似数据集，详见Udacity Self-Driving 目标检测数据集简介与使用，由于一些原因，并未对此数据集做过多探索，一次简单训练下，mAP为64%左右，这还需要进一步探索。而方法2，说的是fine-tune已经训练好的SSD model，最近没来得及进行调参，初次实验效果有限，先把过程和原理记录下来，免得忘了，然后还会说下

动手学深度学习——目标检测 SSD R-CNN Fast R-CNN Faster R-CNN Mask R-CNN

iwill323的博客

09-26

1955

目标检 SSD R-CNN Fast R-CNN Faster R-CNN Mask R-CNN

ssd网络流程

qq_43270687的博客

08-16

444

SSD300网络结构(pytorch)

12-22

一.如图是预测框的相应feature map 其中anchor的长宽关系，s就是上图中的scale,a就是上图中的anchor ratio 二.代码主要由三部分组成 1.vgg作为基础网络要注意的是作者对38*38*512进行L2正则化，并用一个可学习参数调节通道权重 2.增加大目标检测网络 3.输出包括预测框的偏移量输出与分类偏移量计算误检的HEM(hard negative mine)loss函数，用于分类 import torch import os from torch import nn import torch.nn.functional as F im

SSD的priorbox层

猫猫与橙子的博客

12-11

3262

最近要对faceboxes的网络结构进行TensorRT加速,发现同事使用的faceboxes中的priorBox layer和平常使用的priorBox layer在网络结构上好像不太一样,这就说明,我有可能需要在TensorRT中自己添加自己的priorBox层了.这里比较了常规的prior_box_param参数: prior_box_param{ min_size:60.0 #有的包...

SSD理解

公独何人，心如止水。

10-02

477

default boxes=prior box 6个不同比例框1，多尺度特征图检测网络结构模型建立源代码包含于ssd_vgg_300.py中。模型多尺度特征图检测如图1-2所示。模型选择的特征图包括：38×38（block4）,19×19（block7），10×10（block8），5×5（block9），3×3（block10），1×1（block11）。采用3×3卷积生成默认框的四个偏移位置

SSD(single shot multibox detector) default box的生成过程(prior_box_layer.cpp)

我是一个菜鸟，虚心学习的菜鸟。

07-15

4008

在SSD中，default box的生成是比较重要的一环，以下我将通过prior_box_layer.cpp函数来讲解default box的生成过程： #include #include #include #include #include "caffe/layers/prior_box_layer.hpp" namespace caffe { template

SSD 论文理解

JustForYou的博客

12-17

1660

paper：: SSD Single Shot MultiBox Detector（单摄多框检测器） link：SSD paper code：https://github.com/weiliu89/caffe/tree/ssd 摘要提出目标检测方法SSD： one-stage的检测方法，不需要额外的proposal生成过程；将bbox的输出空间离散化到每个feature map预设的多长宽...

SSD算法priorbox的理解

xddwz的博客

06-15

1824

之前看了很多SSD的博客，关于prior box的地方大部分都是照着论文翻译了一下，但是实际的代码中并不是完全按照论文的，特此记录一下自己的理解。 SSD的大致流程：输入一幅图片（300x300），将其输入到预训练好的分类网络（改进的传统的VGG16 网络）中来获得不同大小的特征映射；抽取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2层的feature map，然后分别在这些feature map层上面的每一个点构造6个不同尺度大小的Defaul

SSD网络解析之PriorBox层

qq_21368481的博客

08-19

1万+

SSD网络中的PriorBox层用于部署特征图中每个位置（像素点）处的默认框（即计算每个默认框相对于网络输入层输入图像的归一化左上角和右下角坐标以及设置的坐标variance值）默认框的具体设置，我们需要先看一下原论文中的2.2节部分。 ①英文部分如下： Choosing scales and aspect ratios for default boxes To handle differ...

SSD代码解读（一）——Prior Box Layer

Dlyldxwl的博客

04-24

4071

SSD系列代码解读：（一） Prior Box SSD系列代码解读：（二） Data Augmentation SSD系列代码解读：（三）MultiboxLoss 本部分代码是基于weiliu的ssd，先贴prior_box.hpp代码。 #ifndef CAFFE_PRIORBOX_LAYER_HPP_ #define CAFFE_PRIORBOX_LAYER_HPP_ #incl...

彻底搞懂SSD网络结构

最新发布

09-07

<think> 我们遇到的问题是：在将SS626的Caffe SSD模型转换为OM文件时，报错“no field named 'prior_box_param'”。这个错误通常是因为模型中的PriorBox层在Caffe prototxt定义中使用了`prior_box_param`，而ATC工具使用的Caffe解析器可能不支持这个参数名（在有些版本的Caffe中，PriorBox层的参数可能是`prior_box_param`，但在ATC所依赖的Caffe版本中可能是`prior_box`或其他）。根据引用[1]和引用[2]的启示，这类问题通常是由于版本不一致导致。引用[1]中提到了ceil_mode操作在Caffe master版本不支持，引用[2]中则是因为错误的源码版本导致字段缺失。因此，我们首先要检查PriorBox层在当前使用的ATC工具所支持的Caffe版本中的正确参数名。解决步骤： 1. **检查PriorBox层的定义**：打开你的prototxt文件，找到PriorBox层，确认参数块的名字。例如，你可能会看到类似这样的定义： ```prototxt layer { name: "conv4_3_norm_mbox_priorbox" type: "PriorBox" bottom: "conv4_3_norm" bottom: "data" top: "conv4_3_norm_mbox_priorbox" prior_box_param { min_size: 30.0 max_size: 60.0 aspect_ratio: 2 flip: true clip: false variance: 0.1 variance: 0.1 variance: 0.2 variance: 0.2 step: 8 offset: 0.5 } } ``` 这里参数块的名字是`prior_box_param`，但是不同版本的Caffe可能有不同的命名。例如，在有些版本中可能是`prior_box`（不带`_param`后缀）。 2. **修改prototxt中的参数块名称**：尝试将`prior_box_param`改为`prior_box`（或者反过来），然后再次尝试转换。根据ATC工具所使用的Caffe版本，正确的参数块名称可能是`prior_box`。例如，修改后： ```prototxt prior_box { min_size: 30.0 ... // 其他参数保持不变 } ``` 3. **使用Caffe版本适配**：如果修改参数块名称无效，可能需要考虑ATC工具使用的是哪个版本的Caffe。ATC工具内置的Caffe解析器可能基于较旧的Caffe版本（如BVLC的官方版本），而SSD模型通常来自SSD-Caffe（一个分支）。因此，我们可以参考SSD-Caffe的官方版本中PriorBox层的定义。在SSD-Caffe中，PriorBox层的参数块名称是`prior_box_param`（见[SSD-Caffe](https://github.com/weiliu89/caffe/tree/ssd)）。所以，如果ATC工具使用的是标准Caffe，则可能不支持`prior_box_param`，而只支持`prior_box`。 4. **自定义算子**：如果上述方法无效，可能需要将PriorBox层作为自定义算子处理（类似于上一个回答中处理PriorBox的方法）。但是，这里报错是参数名不存在，说明在解析模型结构时就已经失败，还没有到算子实现的部分。因此，我们需要先解决解析问题。 5. **参考ATC文档**：查阅ATC工具文档中关于Caffe模型转换的支持说明，确认PriorBox层的支持情况。如果文档中明确说明支持PriorBox层，则注意参数块的名称和参数列表。 6. **验证修改后的prototxt**：使用Caffe的Python接口加载修改后的prototxt，检查是否能成功加载。如果能成功加载，说明修改后的prototxt在Caffe中是合法的。例如： ```python import caffe net = caffe.Net('deploy.prototxt', caffe.TEST) ``` 7. **转换命令**：在转换命令中，我们可能需要指定自定义的Caffe插件（如果PriorBox层需要）。但是，由于错误是字段名不存在，通常修改prototxt即可。 8. **如果以上方法均无效**，考虑修改Caffe.proto文件并重新编译ATC工具（需要华为提供支持）。但这种方式通常不推荐，因为重新编译工具链复杂且需要华为的源码支持。具体解决方案：步骤1：修改prototxt文件中所有PriorBox层的参数块名称，将`prior_box_param`改为`prior_box`（或者反之，具体根据错误提示和ATC支持的版本来定）。因为错误提示是“no field named 'prior_box_param'”，说明ATC解析器期望的名字可能不是这个。步骤2：重新运行转换命令。步骤3：如果报错信息变成缺少其他字段（如`min_size`等），则可能是参数块名称改对了，但是内部的字段名有变化。此时，需要参考目标Caffe版本中PriorBox层的定义。例如，在标准Caffe中，PriorBox层可能没有`offset`参数，而SSD-Caffe有。步骤4：如果参数块名称修改后仍然报错，考虑将PriorBox层替换为自定义层，并通过自定义算子插件实现。步骤如下： a. 在prototxt中将PriorBox层的类型改为自定义类型，例如`type: "PriorBoxCustom"`。 b. 编写自定义算子的实现代码（包括InferShape和Compute函数），编译成.so文件。 c. 在转换命令中通过`--custom_op`参数指定该自定义算子。但是，这种方法需要较多的工作量，包括编写自定义算子的代码。因此，优先尝试修改参数块名称。根据经验，华为ATC工具在转换SSD模型时，对PriorBox层的支持可能有特定要求。在华为的官方文档中，通常会给出SSD模型转换的示例，其中PriorBox层的参数块名称可能是`prior_box_param`，也可能是`prior_box`。因此，我们需要参考华为官方提供的SSD模型转换示例。另外，也可以尝试使用华为模型转换工具提供的插件库，例如在`$HOME/Ascend/ascend-toolkit/latest/atc/python/site-packages/te/op_impl/ai_core/tbe/custom`目录下查看是否有PriorBox的自定义算子实现（不同版本路径可能不同）。如果有，我们可以直接使用。总结：优先修改prototxt中PriorBox层的参数块名称，尝试`prior_box`和`prior_box_param`两种，看哪种能让ATC识别。如果都不行，则需要通过自定义算子方式解决。注意事项：修改prototxt后，建议先使用Caffe验证模型结构是否正确（尤其是PriorBox层输出的维度），然后再进行转换。如果问题仍然存在，请提供具体的错误日志和PriorBox层的定义，以便进一步分析。相关问题： 1. 如何查看ATC工具支持的Caffe算子列表？ 2. 在Caffe模型转换中，如何正确编写自定义算子插件？ 3. 转换SSD模型时，DetectionOutput层报错应该如何处理？ 4. 如何验证修改后的prototxt文件是否有效？引用说明： [^1]: 引用[1]提到ceil_mode操作在Caffe master版本中不支持，提醒我们注意版本差异。 [^2]: 引用[2]则是因为使用了错误的源码版本导致字段缺失，同样提醒我们检查版本。 </think> ### 解决SS626 Caffe SSD模型转OM文件报错"no field named 'prior_box_param'"的方法该错误通常由Caffe版本不匹配或prototxt定义不规范导致。以下是具体解决方案： #### 1. **修改prototxt文件中的参数名称**（关键步骤）在SSD模型的prototxt文件中，将`prior_box_param`统一替换为`prior_box`： ```prototxt # 错误定义 layer { type: "PriorBox" prior_box_param { # 需要修改的名称 min_size: 30.0 aspect_ratio: 2.0 } } # 正确定义 layer { type: "PriorBox" prior_box { # 修改后的名称 min_size: 30.0 aspect_ratio: 2.0 } } ``` 此修改基于以下差异： | 版本类型 | 参数块名称 | 支持情况 | |----------------|---------------|-----------------------| | BVLC Caffe | `prior_box` | ✓ 官方标准 | | SSD分支Caffe | `prior_box_param` | ✗ 可能导致转换失败 | #### 2. **验证prototxt文件完整性** - 使用官方工具检查语法： ```bash $CAFFE_ROOT/build/tools/caffe time -model your_model.prototxt ``` - 确保所有PriorBox层均有完整参数： ```prototxt prior_box { min_size: 30.0 # 必须存在 max_size: 60.0 # 可选但建议 aspect_ratio: 2.0 # 必须存在 flip: true # 可选 clip: false # 可选 variance: 0.1 # 必须存在（需4个值） step: 8 # 建议显式声明 offset: 0.5 # 建议显式声明 } ``` #### 3. **使用正确的Caffe分支**（参考引用[2]）通过Git下载SSD专用分支： ```bash git clone -b ssd https://github.com/weiliu89/caffe.git cd caffe # 编译时指定Proto路径 export PROTOBUF_INCLUDE_DIR=$HOME/anaconda3/include make all -j8 ``` #### 4. **转换命令添加自定义层声明** ```bash atc --model=ssd300.prototxt \ --weight=ssd300.caffemodel \ --framework=0 \ --output=ssd300 \ --soc_version=Ascend310 \ --insert_op_conf=aipp.cfg \ --custom_op="PriorBox:PriorBox.so" # 关键声明 ``` #### 5. **兼容性处理方案** 当参数名修改无效时，创建适配层： ```c++ // custom_priorbox_layer.hpp class CustomPriorBoxLayer : public PriorBoxLayer { public: explicit CustomPriorBoxLayer(const LayerParameter& param) : PriorBoxLayer(param) {} virtual void LayerSetUp(const vector<Blob*>& bottom, const vector<Blob*>& top) { // 兼容两种参数名 if (layer_param_.has_prior_box_param()) { prior_box_param_ = layer_param_.prior_box_param(); } else if (layer_param_.has_prior_box()) { prior_box_param_.CopyFrom(layer_param_.prior_box()); } } } ``` #### 错误排查表 | 错误现象 | 根本原因 | 解决方案 | |------------------------------|---------------------------|------------------------------| | "no field named prior_box_param" | Proto定义版本冲突 | 修改prototxt参数名 | | PriorBox输出维度异常 | step/offset参数缺失 | 显式声明step和offset值 | | 自定义层加载失败 | .so文件未正确编译 | 检查g++编译指令和CANN路径 | | 模型精度下降 | variance值未正确配置 | 验证variance:[0.1,0.1,0.2,0.2] | > **关键提示**：SS626环境的ATC工具默认使用BVLC标准Caffe的proto定义[^1]，而SSD模型通常基于weiliu89的ssd分支开发[^2]，两者参数命名存在差异。