在multi-loss-box出现的问题

最新推荐文章于 2024-03-08 21:48:23 发布
最新推荐文章于 2024-03-08 21:48:23 发布
阅读量1.4k 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Soleilhao/article/details/70955326
I0429 15:15:16.544440 32594 net.cpp:408] mbox_loss -> mbox_loss
I0429 15:15:16.544540 32594 layer_factory.hpp:77] Creating layer mbox_loss_smooth_L1_loc
I0429 15:15:16.544674 32594 layer_factory.hpp:77] Creating layer mbox_loss_softmax_conf
I0429 15:15:16.544693 32594 layer_factory.hpp:77] Creating layer mbox_loss_softmax_conf
F0429 15:15:16.545009 32594 multibox_loss_layer.cpp:139] Check failed: num_priors_ * loc_classes_ * 4 == bottom[0]->channels() (131512 vs. 163280) Number of priors must match number of location predictions.
*** Check failure stack trace: ***
    @     0x7fbc642055cd  google::LogMessage::Fail()
    @     0x7fbc64207433  google::LogMessage::SendToLog()
    @     0x7fbc6420515b  google::LogMessage::Flush()
    @     0x7fbc64207e1e  google::LogMessageFatal::~LogMessageFatal()
    @     0x7fbc64963062  caffe::MultiBoxLossLayer<>::Reshape()
    @     0x7fbc648db4e1  caffe::Net<>::Init()
    @     0x7fbc648dcd61  caffe::Net<>::Net()
    @     0x7fbc648b9d9a  caffe::Solver<>::InitTrainNet()
    @     0x7fbc648bb097  caffe::Solver<>::Init()
    @     0x7fbc648bb43a  caffe::Solver<>::Solver()
    @     0x7fbc648f0e23  caffe::Creator_SGDSolver<>()
    @           0x40afb9  train()
    @           0x4077c8  main
    @     0x7fbc6299c830  __libc_start_main
    @           0x408099  _start
    @              (nil)  (unknown)
Aborted (core dumped)

找解决办法，加油！


壹碗
关注
SSD系列(2)——MultiBoxLoss解析
ryERO的博客
11-20 1020
本文是对SSD-Pytorch源码中MultiBoxLoss文件的内容解析。 关键词：multiboxloss、SSD、pytorch、目标检测
Pyramidal Person Re-Identification via Multi-Loss Dynamic Training
soarflight_ing的博客
03-09 607
Pyramidal Person Re-Identification via Multi-Loss Dynamic Training 论文：Pyramidal Person Re-IDentification via Multi-Loss Dynamic Training,cvpr,2019. 链接：paper 代码：github 摘要 论文指出基于特征图水平切块（part-based）的行人重识别很大程度上依赖于目标检测算法的优劣。差的目标检测算法由于无法精确的框出行人，导致在进行局部特征相似度计算和
MultiBoxLossLayer--multibox_loss_param
guojingjuan的博客
02-20 1830
  multibox_loss_param {     loc_loss_type: SMOOTH_L1     conf_loss_type: SOFTMAX     loc_weight: 1.0     num_classes: 21     share_location: true     match_type: PER_PREDICTION     overlap_threshold: ...
【NVCaffe源码解析】MultiBoxLossLayer(Ing)
04-19 439
NVCaffe中MultiBoxLossLayer的代码说真的不是那么好容易理解,有很多细节的地方最好是结合 SSD的论文反复推敲，方得真谛。在深入解读源码之前，还是先给一个訪层的参数配置样例。在后文中对代码进行推演的时候以訪样例为参考。 layer { name: "mbox_loss" type: "MultiBoxLoss" bottom: "mbox_l...
2016 CVPR-Person Re-Identification by Multi-Channel Parts-Based CNN with Improved Triplet Loss
Bo's Blog
05-12 1827
Motivation 如今的Re-ID工作大多是将特征学习与度量学习分开，那么能不能把两者一起学习来提高性能呢？ 同时对整张图像直接提取特征往往不能捕捉图像中人物的细节信息，怎么能设计模型来更好利用局部特征呢？ 之前的triplet loss仅仅使类内距离小于类间距离就行，这样学习出来的类簇相对较大，能不能学到更紧凑的类簇来提高判别力呢？ 本文的multi-channel + improved...
目标检测模型中的几个损失值
qq_52832321的博客
03-08 1万+
DFL损失的主要作用是用于校正模型在预测物体边界框时的误差，优化后的效果可以在一定程度上针对有些模糊或者焦点不集中的图片提升对象检测的精度。Box Loss直接依赖于模型预测的边界框与实际（或称为真值）边界框之间的距离。DFL损失是一个更高级的损失函数，目标是能在某些更复杂的情况下获得更好的性能，特别是针对一些难以边界框预测的目标。Box损失函数通常用于基本的目标检测任务，如Faster R-CNN, SSD等方法，Box损失是一个相对简单的损失函数，它主要计算预测的边界框与实际的边界框之间的位置偏差。
2018 CVPR：Pyramidal Person Re-IDentification via Multi-Loss Dynamic Training
makabaka的博客
05-12 872
Pyramidal Person Re-IDentification via Multi-Loss Dynamic Training 当前的问题及概述： 大多数现有的方法高度依赖bounding box,然而，由于实际场景的限制，目前的检测模型往往产生不准确的bounding box，进而避免了算法的性能。 本文提出了一种新的由粗到细的金字塔模型，该模型不仅融合了局部信息和全局信息，而且还强化了局部信息和全局信息之间的线索，避免了bounding box的不准确性带来的影响。可以从下图看到，由于boundi
多摄像头多目标追踪——Box-Grained Reranking Matching for Multi-Camera Multi-Target Tracking
qq_42312574的博客
02-07 2864
文中的追踪框架由4个模块组成：车辆识别（vehicle detection）、重识别（Re-Identification, ReID）、单摄像头下多目标追踪（Single-Camera Multi-Target tracking, SCMT） 、跨摄像头间关联（Inter-Camera Association, ICA）。文中选择了两阶段的检测器——Casca
多摄像头多目标追踪Multi-Camera Multi-Target tracking, MCMT
qq_42312574的博客
02-05 3842
MCMT的任务是通过综合多个摄像头的视频对其中的各种车辆进行跨摄像头的追踪，实际应用中帮助分析交通阻塞情况、规划交通时长。这样一个MCMT的系统通常有4个组成模块：车辆识别（vehicle detection）、重识别（Re-Identification, ReID）、单摄像头下多目标追踪（Single-Camera Multi-Target tracking
目标检测4——Fast R-CNN（ROI Pooling、SVD、Multi-task Loss等新特性实现端到端的训练并显著提升训练和推理的速度）
qq_45792437的博客
01-12 1257
Fast R-CNN 利用 ROI Pooling、SVD、Multi-task Loss 等新特性实现端到端的训练并显著提升训练和推理的速度
关于SSD训练时默认框输出层输出通道num_output的计算
xunan003的博客
02-03 6802
申明，本博文是为解决以下两个问题而撰写。 Check failed: num_priors_ * num_loc_classes_ * 4 == bottom[0]->channels() (264348 vs. 88116) Number of priors must match number of location predictions. Check failed: num_pr
SSD移植
公独何人，心如止水。
10-10 3955
1，报错Check failed: label < num_classes (5 vs. 5) 打开train_tv_logo.prototxt搜索num_classes改为9（8classes+1）2，报错Check failed: num_priors_ * num_classes_ == bottom[1]->channels() (62136 vs. 34520) . 理解：在mult
SSD的源码解读——MultiBoxLoss函数定义
daniaokuye的专栏
11-17 7783
SSD如何计算location loss functionSSD在计算损失函数的时候，用到了两项的加和，类别的confidence和对default box location的回归分别计算的损失值。 N是匹配的default boxes的个数，x表示匹配了的框是否属于类别p，取值{0,1};l是预测框predicted box，g是真实值ground truth box;c是指所框选目标属于类
SSD MultiBoxLossLayer代码学习记录
热门推荐
08-15 1万+
template <typename Dtype> void MultiBoxLossLayer<Dtype>::LayerSetUp(const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) { LossLayer<Dtype>::LayerSetUp(bottom, top); if (this-
smooth_L1_loss_layer.cpp:28] Check failed: bottom[0]->channels() == bottom[1]->channels() (12 vs. 84
qq_36219202的博客
06-07 5612
用faster RCNN训练自己的数据时候遇到的问题，具体为使用vgg16的end_2_end训练 这种问题一般都是train.prototxt的类别数没有改好导致的 在的vgg16的end_2_end下的train.prototxt需要改的是 data层的num_classes: n (自己要训练的类别+1，1代表背景) 以及 roi_data层的num_classes:n cls_s
部分目标检测网络+自己训练过程……
Dlyldxwl的博客
09-11 8465
博主最近接手了一个SSD有关的检测项目，大四的时候接触了DL，这段时间在训练mobilenet-SSD的时候想自己也努力努力对这些大牛级模型进行一些小修小补吧。SSD网络前几层用的是VGG部分网络，想了一下，接触DL有4,5个月了，对这些基本的网络还没进行一个系统的总结过，于是乎花了一下午的时间看了一些经典网络结构，话不多说转入正题。 LeNet 这是入门级网络模型，没什么好说的，一个字：...
目标检测特殊层：SSD目标检测之MultiBox代码解读
BigCowPeking
03-07 2135
这篇博客主要写multibox_loss_layer，multibox_loss_layer也是SSD比较关键内容，主要包括内建了两个layer进行loss回归，还包括比如FindMatches，MineHardExamples，EncodeLocPrediction &amp;&amp; EncodeConfPrediction等都是比较重要的函数（其中有一部分在bbox_util中，后面会介绍...
SSD MyDetect记录
08-17 4424
最近学习了SSD，想自己实现SSD后面检测的过程（虽然SSD已经有提供代码，但是自己练练手）。自己添加的层MyDetect（功能是对于输入进来的prior bounding box， location predict， confidence predict进行处理，输出top[0]维度是1×1×100*6（默认最多识别的框不超过100，后面的6维度是xmin，ymin，xmax，ymax，class
yolov11模型wider face数据集人脸检测任务Multi-Task-Facial加入到训练集
最新发布
06-15
<think>我们正在将Multi-Task-Facial（多任务面部任务）整合到YOLOv11模型和WIDERFACE数据集的训练中。YOLOv11是一个目标检测模型，而WIDERFACE是一个大规模人脸检测数据集。Multi-Task-Facial通常包括人脸检测、关键点定位、表情识别、属性识别等多个任务。目标：在YOLOv11模型的基础上，扩展为多任务模型，同时完成人脸检测（主任务）以及其他面部相关任务（如关键点检测、表情分类等）。步骤：1.**数据准备**：-WIDERFACE数据集主要用于人脸检测，它包含大量的人脸图像和边界框标注。但Multi-Task-Facial需要更多的标注信息（如关键点、表情、属性等）。因此，我们需要对WIDERFACE数据集进行补充标注，或者将WIDERFACE与其他包含多任务标注的数据集（如CelebA,AFLW等）合并使用。-数据格式统一：将多任务标注整合到一个统一的标注文件中（例如，每个图像对应一个标注文件，包含人脸框、关键点坐标、表情标签等）。2.**修改模型架构（YOLOv11）**：-YOLOv11本身是一个单任务模型（检测）。我们需要在其主干网络（backbone）之后添加多个任务特定的分支（heads）。-具体设计：-共享主干网络：使用YOLOv11的主干网络（如CSPDarknet）提取共享特征。-任务分支：-任务1：人脸检测分支（YOLOv11原有的检测头，输出边界框和置信度）。-任务2：人脸关键点检测分支（输出例如68个关键点的坐标）。-任务3：表情分类分支（输出表情类别概率）。-任务4：属性分类分支（如性别、年龄等，每个属性一个二分类或多分类输出）。-注意：每个分支可以是一个或多个卷积层。3.**损失函数**：-总损失是多任务损失的加权和：$$L_{total}=w_{det}\cdotL_{det}+w_{landmark}\cdotL_{landmark}+w_{expr}\cdotL_{expr}+w_{attr}\cdotL_{attr}$$-其中：-$L_{det}$：人脸检测损失，采用YOLOv11原有的损失（包括边界框坐标损失、置信度损失、分类损失）。-$L_{landmark}$：关键点损失，通常使用平滑L1损失或均方误差（MSE）。-$L_{expr}$：表情分类损失，使用交叉熵损失。-$L_{attr}$：属性分类损失，每个属性使用交叉熵损失，然后取平均。-权重选择：可以手动调整，也可以使用动态权重调整方法（如根据任务不确定性[^1]）。4.**训练策略**：-联合训练：同时训练所有任务。-数据加载：在数据加载时，需要同时加载所有任务的标注。-训练技巧：-由于不同任务的学习难度和收敛速度不同，可以考虑任务式提前停止[^5]：当某个任务在验证集上性能饱和时，冻结该任务分支，继续训练其他任务。-梯度裁剪：避免不同任务梯度量级差异过大导致训练不稳定。-学习率调整：使用余弦退火等动态调整学习率。5.**评估**：-分别评估每个任务：-人脸检测：使用mAP（meanAveragePrecision）评估。-关键点检测：使用NME（NormalizedMeanError）评估。-表情识别：使用准确率（Accuracy）评估。-属性分类：使用准确率或F1分数评估。6.**推理优化**：-在推理时，我们可以选择只运行需要的任务分支。例如，如果只需要人脸检测，那么只需要运行检测分支；如果需要全部任务，则运行所有分支。关键挑战：-数据集：WIDERFACE没有提供除检测框以外的标注，因此需要额外标注或融合其他数据集。-模型复杂度：多任务模型会增加计算量和参数量，需要考虑模型轻量化或剪枝。代码结构示例（PyTorch伪代码）：```pythonclassMultiTaskYOLO(nn.Module):def__init__(self,backbone,num_classes,num_landmarks,num_exprs,num_attrs):super().__init__()self.backbone=backbone#YOLOv11的主干#检测头（YOLO原有的检测头）self.det_head=YOLOHead(...)#关键点头（输出68个关键点，每个点2个坐标）self.landmark_head=nn.Sequential(nn.Conv2d(backbone_out_channels,256,3,padding=1),nn.ReLU(),nn.Conv2d(256,num_landmarks*2,1))#表情分类头（全局平均池化后接全连接层）self.expr_head=nn.Sequential(nn.AdaptiveAvgPool2d(1),nn.Flatten(),nn.Linear(backbone_out_channels,num_exprs))#属性分类头（可以多个属性共享一个头，也可以每个属性单独一个头）self.attr_head=nn.ModuleList([nn.Sequential(nn.AdaptiveAvgPool2d(1),nn.Flatten(),nn.Linear(backbone_out_channels,num_classes_attr[i]))foriinrange(num_attrs)])defforward(self,x):features=self.backbone(x)det_out=self.det_head(features)landmark_out=self.landmark_head(features)expr_out=self.expr_head(features)attr_outs=[head(features)forheadinself.attr_head]returndet_out,landmark_out,expr_out,attr_outs```训练循环中的损失计算示例：```python#假设每个任务的损失函数已经定义loss_det=det_criterion(det_pred,det_target)loss_landmark=landmark_criterion(landmark_pred,landmark_target)loss_expr=expr_criterion(expr_pred,expr_target)loss_attr=0foriinrange(num_attrs):loss_attr+=attr_criterion(attr_preds[i],attr_targets[:,i])loss_attr/=num_attrs#总损失，权重可以根据需要调整total_loss=w_det*loss_det+w_landmark*loss_landmark+w_expr*loss_expr+w_attr*loss_attr```注意事项：-在训练前，需要确保每个任务都有对应的标注数据。对于部分缺失标注的数据，可以采用掩码机制跳过该任务的损失计算。-由于WIDERFACE数据集规模很大，补充标注的工作量巨大，可以考虑使用迁移学习：先在完整标注的小数据集上预训练多任务模型，再用WIDERFACE的检测标注进行微调（此时其他任务分支的标注缺失，可以冻结这些分支，只训练检测分支）。引用说明：-动态权重调整（如根据任务不确定性）可参考[^1]。-任务式提前停止策略可参考[^5]。相关问题：1.如何为WIDERFACE数据集添加人脸关键点、表情等标注？2.多任务训练中，如何平衡不同任务之间的损失权重？3.在YOLOv11多任务模型中，如何优化推理速度？4.如何处理训练数据中部分任务标注缺失的情况？</think>### 在YOLOv11模型中结合WIDER FACE数据集实现Multi-Task-Facial训练的步骤 #### **1. 数据准备与标注转换** - **WIDER FACE数据集处理**： - 下载并解压WIDER FACE数据集（包含32,203张图像和393,703个人脸标注） - 转换标注格式为YOLO格式（归一化坐标）： $$ x_{center} = \frac{x + w/2}{img_w}, \quad y_{center} = \frac{y + h/2}{img_h} $$ $$ w_{norm} = \frac{w}{img_w}, \quad h_{norm} = \frac{h}{img_h} $$ - 生成`train.txt`和`val.txt`文件列表 - **多任务标注扩展**： - 为WIDER FACE补充关键点/表情/属性标注（使用预训练模型自动标注或人工标注） - 创建多任务标注文件（每行格式）： ``` image_path x1,y1,x2,y2,conf,landmark_x1,landmark_y1,...,expr_id,attr1,attr2,... ``` #### **2. 模型架构修改** - **主干网络共享**： ```python # YOLOv11主干网络（CSPDarknet） backbone = CSPDarknet(depth_multiple=1.0, width_multiple=1.0) ``` - **多任务分支扩展**： ```python # 检测分支（原始YOLO头） detect_head = Detect(nc=1) # 仅人脸检测，nc=1 # 关键点分支（68个点） landmark_head = nn.Sequential( Conv(1024, 256, 3), nn.Flatten(), nn.Linear(256*7*7, 136) # 68*2=136 ) # 表情分支（7类基本表情） expr_head = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(1024, 7) ) ``` #### **3. 损失函数设计** - **多任务加权损失**： $$ \mathcal{L}_{total} = \lambda_{det}\mathcal{L}_{det} + \lambda_{landmark}\mathcal{L}_{landmark} + \lambda_{expr}\mathcal{L}_{expr} $$ 其中： - $\mathcal{L}_{det}$：YOLO检测损失（CIoU + 置信度）[^1] - $\mathcal{L}_{landmark}$：平滑L1关键点损失 - $\mathcal{L}_{expr}$：表情分类交叉熵损失 - **动态权重调整**（推荐）： $$ \lambda_i = \frac{1}{2\sigma_i^2}, \quad \mathcal{L}_{total} = \sum_i \frac{\mathcal{L}_i}{\sigma_i^2} + \log \sigma_i $$ 通过可学习的$\sigma_i$自动平衡任务权重[^2] #### **4. 训练流程实现** 1. **数据加载**： ```python dataset = MultiTaskDataset( img_dir="WIDER_train/images", annot_file="multitask_annotations.txt", transforms=augmentations # 包含Mosaic, MixUp等 ) ``` 2. **训练循环**： ```python for imgs, targets in dataloader: # targets: [batch_idx, cls, box, landmarks, expr] det_out, landmark_out, expr_out = model(imgs) # 计算多任务损失 loss_det = compute_yolo_loss(det_out, targets[..., :6]) loss_landmark = smooth_l1(landmark_out, targets[..., 6:142]) loss_expr = F.cross_entropy(expr_out, targets[..., 142]) # 动态加权 total_loss = loss_det/(2*sigma_det**2) + loss_landmark/(2*sigma_landmark**2) + loss_expr/(2*sigma_expr**2) total_loss += torch.log(sigma_det*sigma_landmark*sigma_expr) total_loss.backward() optimizer.step() ``` #### **5. 关键训练技巧** - **渐进式训练**： 1. 第一阶段：仅训练检测分支（冻结其他分支） 2. 第二阶段：联合训练所有分支 3. 第三阶段：微调任务特定分支 - **梯度处理**： ```python # 梯度裁剪防止冲突 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=10.0) # 梯度归一化（可选） for param in model.parameters(): if param.grad is not None: param.grad.data = param.grad.data / (param.grad.data.norm() + 1e-8) ``` - **数据增强策略**： - 基础增强：随机裁剪、色彩抖动、旋转（±30°） - 高级增强：CutMix, GridMask - **关键点增强**：弹性形变（确保关键点同步变换） #### **6. 评估与验证** - **分任务评估指标**： | 任务 | 指标 | 说明 | |--------------|-----------------------|--------------------------| | 人脸检测 | mAP@0.5 | WIDER FACE官方评估标准 | | 关键点检测 | NME (Normalized Mean Error) | $$ \frac{1}{N}\sum_i \frac{\|pred_i - gt_i\|_2}{d_{interocular}} $$ | | 表情识别 | 准确率(Accuracy) | 7类表情分类准确率 | --- ### 部署优化建议 - **推理加速**： ```python # 仅启用必要分支 model.set_task('detection') # 仅运行检测头 detections = model(imgs) # 对检测结果运行其他任务 for bbox in detections: landmark = model.run_head('landmark', roi_crop(img, bbox)) ``` - **模型轻量化**： - 使用通道剪枝压缩共享主干网络 - 量化INT8推理（TensorRT部署） --- ### 相关问题 1. 如何在WIDER FACE数据集上自动生成多任务标注？ 2. YOLOv11多任务训练中如何解决不同任务收敛速度不一致的问题？ 3. 动态损失权重$\sigma$的初始化值应该如何设置？ 4. 多任务模型中如何平衡检测精度与关键点精度？ [^1]: 检测损失包含CIoU损失、置信度损失和分类损失，是人脸检测的基础 [^2]: 动态权重调整通过可学习的$\sigma$参数自动平衡多任务损失权重
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值