从论文到落地:Repulsion Loss在单阶段与两阶段检测器中的差异全解析

Repulsion loss的详细理解 本文由同济大学和北京大学合作发表于CVPR2018,聚焦于loss层面,为遮挡情况下的行人检测问题提供了一种行之有效的解决方案。 论文:https://arxiv.org/abs/1711.07752 一、问题提出 1.行人遮挡会造成什么问题 当我们在做行人检测时,人与人之间会存在互相遮挡。遮挡会造成2个问题: 1.设红色框为目标框T(man)的预测框P,旁边也有个真实框B(woman),我们的P可能会被往B去移动(shift)。 2.检测器对NMS的阈值的选取更为敏感。如果NMS阈值选取过小,周围的目标. 阅读详情

Repulsion Loss在目标检测中的实战困境:从理论假设到工程适配的深度解构

密集人群检测一直是计算机视觉领域的"硬骨头"。当行人肩并肩站立时,传统检测器的边界框往往会重叠合并,导致漏检或误检。2018年提出的Repulsion Loss看似给出了优雅的解决方案——通过让预测框"排斥"邻近非目标框来缓解遮挡问题。但当我们真正将其移植到YOLOv4等单阶段检测器时,效果却令人大跌眼镜。这背后究竟隐藏着怎样的理论假设与工程现实之间的鸿沟?

1. 重新审视Repulsion Loss的设计哲学

Repulsion Loss的论文标题直指"人群中的行人检测",其核心思想源自对现实场景的三重观察:

  1. 遮挡的必然性:密集场景中,目标间物理遮挡导致视觉特征相互干扰
  2. 边界框的竞争:相邻目标的预测框会争夺有限的锚框资源
  3. NMS的局限性:传统非极大值抑制会误删正确但重叠的预测

该损失函数由三个关键项构成:

损失项数学表达设计意图适用阶段
Attraction项Smooth L1(预测框, 目标GT)确保基础检测精度所有检测器
RepGT项1-IoU(预测框, 邻近GT)防止预测框吸附到错误目标两阶段更有效
RepBox项IoU(预测框, 邻近预测框)避免预测框相互吞噬依赖前置预测框

在Fast R-CNN上的实验显示,CityPersons数据集的MR^-2指标提升了4.6%。但仔细分析其实现条件:

# 典型的两阶段实现伪代码
proposals = RPN(image)  # 首先生成数百个候选框
for prop in proposals:
    loss = Attraction(prop, matched_GT)
    + alpha * RepGT(prop, nearby_GTs) 
    + beta * RepBox(prop, other_proposals)

这种设计存在两个隐性前提:

  1. 有明确的proposal生成阶段
  2. 能够同时获取同一目标的多个预测框

2. 单阶段检测器的适配困境

当我们将目光转向YOLOv4时,情况变得截然不同。单阶段检测器的核心特点是:

  • 端到端预测:直接输出最终检测框,没有显式的proposal阶段
  • 网格化预测:每个网格单元独立预测固定数量的边界框
  • 实时性优先:通过牺牲冗余预测换取速度优势

尝试在darknet框架中植入Repulsion Loss时,会遇到几个致命问题:

  1. 时序矛盾:RepBox项需要比较不同预测框,但YOLO的损失计算发生在NMS之前
  2. 空间局限:YOLO的网格划分机制使得相邻目标的预测天然隔离
  3. 计算开销:全图所有预测框的两两比较会彻底破坏实时性

以下是在YOLOv4中强行实现的代码片段及其问题:

def repulsion_loss(pred_boxes, gt_boxes):
    # pred_boxes: [B, S, S, 3, 4] (YOLOv4输出格式)
    # 需要展开所有预测框进行两两比较 → 内存爆炸
    expanded_pred = pred_boxes.reshape(-1, 4)  # [B*S*S*3, 4]
    iou_matrix = pairwise_iou(expanded_pred, expanded_pred)  # O(n²)复杂度
    
    # 难以建立预测框与GT的对应关系
    repulsion_loss = calculate_repulsion(iou_matrix)  # 实际效果适得其反
    return repulsion_loss

实验数据显示,在WiderPerson数据集上:

  • 原始YOLOv4的mAP: 78.3%
  • 加入Repulsion Loss后mAP: 72.1%(下降6.2%)
  • 推理速度从45 FPS降至23 FPS

3. 架构差异导致的本质冲突

两阶段与单阶段检测器在Repulsion Loss适配性上的差异,根源在于其底层设计哲学的不同:

3.1 提案生成机制对比

Fast R-CNN工作流:

  1. RPN生成300个类别无关的proposals
  2. 对每个proposal独立进行RoI Pooling和分类
  3. 自然具备多框比较的基础条件

YOLOv4工作流:

  1. 图像划分为S×S网格
  2. 每个网格预测固定数量的边界框
  3. 最终输出已经是筛选后的结果

3.2 损失计算时机差异

两阶段检测器的损失计算发生在两个明确阶段:

  1. RPN阶段的objectness损失
  2. Fast R-CNN阶段的分类+回归损失

而单阶段检测器将所有这些目标统一到单个损失函数中,导致:

  • 难以插入需要中间结果的复杂损失项
  • 后处理(NMS)前的预测框信息不完整

4. 替代方案与实用建议

对于实际需要处理密集场景的工程师,我们有以下更可行的方案:

4.1 针对单阶段检测器的改进方向

  1. 自适应网格策略:

    • 动态调整网格密度(如SPPNet中的空间金字塔)
    • 高密度区域自动增加预测头
  2. 改进的NMS方案:

def soft_nms(boxes, scores, iou_thresh=0.5):
    # 不是直接删除重叠框,而是降低其置信度
    for i in range(len(boxes)):
        if scores[i] < 0.001:
            continue
        for j in range(i+1, len(boxes)):
            iou = calculate_iou(boxes[i], boxes[j])
            if iou > iou_thresh:
                scores[j] *= (1 - iou)  # 重叠度越高,惩罚越大
  1. 特征增强方法:
    • 在backbone中加入注意力机制(如CBAM)
    • 使用可变形卷积处理遮挡区域

4.2 方案选型决策矩阵

场景特征推荐方案理由
轻度遮挡+实时需求YOLOv5 + Soft-NMS保持速度同时提升遮挡处理
重度遮挡+精度优先Faster R-CNN + RepLoss发挥两阶段架构的理论优势
动态密集场景CenterNet + 注意力机制基于中心点预测避免框竞争

在实际部署中发现,对于监控场景的密集人群:

  • 两阶段检测器在静态摄像头中表现更好
  • 单阶段检测器更适合移动端或需要实时处理的场景
  • 当硬件允许时,使用更大的输入分辨率(如从608×608提升到1024×1024)可以直接改善密集目标检测效果
Repulsion Loss:为解决密集人群检测中遮挡设计的损失函数 最近终于实现了darknet(yolov4)与repulsion的结合。但是结果奇差无比。仔细阅读论文,发现repulsion loss基本上是为了提升数据集的指标而设计的。实际中很那应用,并且局限于两阶段检测器(个人猜想。) Markdown将文本转换为 HTML。 题目:Repulsion Loss: Detecting Pedestrians in a Crowd 原文章地址:Repulsion Loss: Detecting Pedestrians in a Crowd 引言 我们来分析一下论. 阅读详情

相关推荐

Repulsion Loss在遮挡行人检测中的关键作用与实现解析

本文深入解析了Repulsion Loss在解决密集场景下行人检测难题中的关键作用。该损失函数通过引入对真实框和预测框的排斥力,有效防止了预测框偏移和NMS误删,显著提升了模型在遮挡情况下的检测精度。文章结合核心机制解析与PyTorch代码实现,为开发者优化目标检测模型提供了实用指南。

weixin_29044157的博客 344

Repulsion loss:专注于遮挡情况下的行人检测

Repulsion loss一、背景介绍二、主要内容1.遮挡分析2.Repulsion loss3.实验分析总结 一、背景介绍 与通用目标检测相比,遮挡情况在行人检测中更为普遍,为此也是行人检测领域最广为关注的问题之一。现实场景中行人的遮挡情况主要分为两种情况: 一种是其他物体对行人的遮挡,这往往会带来目标信息的缺失,进而导致漏检; 另一种是行人个体之间的相互遮挡,这往往会引入大量的干扰信息,进而导致更多的虚检。 本文重点解决的是后一种情况导致的遮挡问题。作者将对这一问题进行了深入思考,并从loss的层面

weixin_42495721的博客 3420

Repulsion Loss 论文笔记

论文: Repulsion Loss: Detecting Pedestrians in a Crowd 论文地址: https://arxiv.org/abs/1711.07752 代码地址: https://github.com/bailvwangzi/repulsion_loss_ssd 这是一篇 face++ 和同济大学联合出品的论文,主要的 motivation 是解决密集人群中的遮挡检...

qq_23368835的博客 2184

论文笔记之Repulsion Loss: Detecting Pedestrians in a Crowd

摘要 在本文中,我们首先通过实验探索最先进的行人检测器如何受到人群遮挡的伤害,从而提供对人群遮挡问题的见解。 然后,我们提出了一种专门针对人群场景设计的新颖的边界框回归损失,称为排斥力。 这种损失是由两个动机驱动的:目标的吸引力和周围其他物体的排斥。 排斥项可以防止提案移至周围的对象,从而导致人群拥挤的定位。 经过排斥损失训练的我们的探测器性能优于最新方法,在遮挡情况方面有显着改善。 遮挡问题 在...

加油 1388

yolov5+Repulsion损失函数,解决密集遮挡问题(附带代码可用)

yolov5+RepLoss,解决密集遮挡问题

qq_42754919的博客 3991

YOLOv8改进遮挡损失函数Repulsion Loss:目标检测中解决遮挡问题

而Repulsion Loss通过在损失函数中引入一项相互排斥的正则项,可以在训练过程中惩罚目标之间的相互遮挡,从而提高目标检测的准确性。通过使用Repulsion Loss,我们可以在YOLOv8检测器中有效地解决目标遮挡的问题,提高检测算法在密集人群等复杂场景下的准确性。当然,除了Repulsion Loss,还有许多其他方法和技术可以用于遮挡问题的处理,研究人员们在不断探索和改进中,希望能够为目标检测算法带来更好的性能和鲁棒性。在模型的前向传播方法中,我们可以根据需要定义模型的具体结构和逻辑。

ZuoProgramming的博客 3676

解决目标检测中密集遮挡问题——Repulsion loss

解决目标检测中密集遮挡问题——Repulsion lossRep lossAttrRepGTRepBox 之前参加了df的钢筋检测比赛,比赛中的一个难点是密集遮挡问题,为了解决这个问题,参考了之前旷视针对人群检测中密集遮挡问题而提出的Reploss,这篇论文收录于cvpr2018。我把Reploss的思路拿过来用在钢筋检测中,效果还是不错的,在这里记录一下这篇论文。 在目标检测中,遮挡问题是比较常...

Tianlock的博客 9916

芒果YOLOv5改进05:损失函数IoU 篇之Repulsion Loss:原创改进损失函数 Repulsion:解决目标遮挡场景下检测,为解决密集人群检测中遮挡设计的损失函数,打造高效检测器涨点

YOLOv5改进代码实践|结合Repulsion 解决目标遮挡场景下检测🚀

包括YOLOv5、YOLOv7、YOLOv8等模型改进 4567

Repulsion Loss: 解决行人检测中密集遮挡问题

论文题目:Repulsion Loss: Detecting Pedestrians in a Crowd 论文链接:https://arxiv.org/abs/1711.07752 motivation: 目标检测的目的是使产生的proposal能更加接近真是目标框GT,而行人检测中经常会遇到行人密集拥挤的情况,文中称作crowd occlusion,使得训练输出的预测框会由于周围其他目标的影响...

The space of Shining 1940

YOLOv8进阶:SEAM注意力与Repulsion Loss双剑合璧,突破遮挡检测瓶颈

做目标检测时,最头疼的莫过于目标被遮挡的场景——行人被树木挡住一半、车辆被广告牌遮挡部分轮廓……这些情况往往让模型“犯迷糊”。但现在,有了SEAM注意力模块和Repulsion Loss排斥损失,我们就能让YOLOv8在遮挡场景下也能“拨开迷雾见真章”。这篇教程会带你一步步理解这两个技术,并亲手把它们融入YOLOv8,让你的检测模型在复杂场景下也能稳如泰山。

FJN110的博客 234

改进YOLO系列:12.Repulsion损失函数【遮挡】

RepLoss

weixin_45454137的博客 2356

目标追踪与定位学习笔记8-排斥损失:检测人群中的行人

Repulsion Loss: Detecting Pedestrians in a Crowd 排斥损失:检测人群中的行人 论文链接:arXiv 1. 论文思路 本文通过为拥挤场景设计普通边界框回归损失,即排斥损失。这种损失分为两部分:目标的吸引和周围其他物体的排斥。排斥损失可以防止proposals转移到周围的对象从而有更强的鲁棒性。 解决的问题:当目标行人T被另一个行人B重叠时,因为检测器混淆导致以T为界限的预测框很可能会转移到B,从而导致定位不准确。更进一步,NMS使得从T偏移的边界框可能被B的预测

qq_33977080的博客 1283

repulsion_loss_ssd:排斥力损失

使用SSD实施排斥力损失 从,该文件是Wei Wei,Dragomir Anguelov,Dumitru Erhan,Christian Szegedy,Scott Reed,Cheng-Yang和Alexander C.Berg于2016年发表的论文的的实现。 官方的和原始的Caffe代码可以在找到。 目录 安装 通过在网站上选择您的环境并运行适当的命令来安装PyTorch 。 克隆此存储库。 注意:我们目前仅支持Python 3+。 然后按照以下说明下载数据集。 现在,我们支持Visdom在培训期间进行实时损失可视化! 要在浏览器中使用Visdom,请执行以下操作: # First install Python server and client pip install visdom # Start the server (probably in a screen or tm

Repulsion Loss: Detecting Pedestrians in a Crowd 详解(遮挡下的行人检测)

最近做新人检测Re-ID的工作,刚好记录一下对论文的阅读和个人理解。文章中部分内容为引用别人的,我在文章最后也给出了引用的文章链接。如有侵权,请联系我删除。 一、综述 行人检测中遮挡分为两种类型,一种是由于非目标造成的遮挡,文中作者称为Reasonable-occlusion,另外一种是由于也是需要检测的目标造成的遮挡,作者称为Reasonable-crowd。对于前一种类型遮挡,很难有针对性的办...

gbyy42299的博客 7180

Dify如何实现自主学习

摘要:Dify通过构建感知-决策-执行-反馈的闭环实现"自主学习",本质是打造能自动获取信息、更新知识库并调整策略的Agent工作流。核心包括:1)建立知识库作为记忆体;2)搭建感知与执行工具获取实时信息;3)通过工作流编排决策"大脑",包含LLM决策节点、行动执行节点和反馈反思节点。典型应用如根据用户反馈优化回答风格,通过存储反思日志到知识库实现持续优化。这种机制使智能体能基于新数据和经验不断自我改进。

专注于技术研发行业技术主要有AI人工智能视觉识别、物联网技术、电商平台、app原生技术、微信小程序、鸿蒙语言开发、办公企业oa、ERP等,致力于做东半球最优秀的程序员 727

開機自動進入UEFI Interactive Shell無法正常開機怎麼辦?

BIOS/UEFI,啟動後進入UEFI Interactive Shell大多數人都告訴你沒有安裝系統去裝系統吧,但你明明昨天還在運行系統?今天就這樣?有沒有解決辦法?

sheaahhoi1的博客 7749

(CVPR2018)Repulsion Loss: Detecting Pedestrians in a Crowd

论文链接:https://arxiv.org/abs/1711.07752 解决问题 遮挡给目标检测带来了极大的挑战,而遮挡通常可以分为两类:类内遮挡(不同种类目标遮挡)和类间遮挡(同一种类目标遮挡,也称为密集遮挡)。文章通过提出新的损失函数(Repulsion Loss)主要解决了行人检测中的密集遮挡,极大提升了检测器的性能。 主要思想 密集遮挡给行人检测主要带来两种负面影响: 1...

qq_36237800的博客 1837

ArcGIS新手必看:HWSD2土壤数据从下载到批量提取TIFF的完整流程

本文详细介绍了ArcGIS中HWSD2土壤数据的完整处理流程,从数据下载、预处理到批量提取TIFF文件。涵盖栅格属性表构建、属性数据连接及性能优化等关键步骤,帮助新手高效掌握HWSD2数据提取技术,提升地理信息数据处理效率。

ll5678的博客 1036

目标检测中的遮挡问题及优化

尽管目标检测算法整体上已经相对比较成熟,但是在特殊场景下的表现还有很多优化空间,比如图片中的目标有遮挡、图像运动模糊、目标为可改变形状的非刚性物体等。本文主要是针对遮挡问题,之前在做游戏目标检测时也遇到过这个问题,当时只是考虑增加训练样本的多样性,最近,笔者读了几篇解决目标检测中的遮挡问题的文章,也看了一些网友的解析,觉得若有所悟,不自觉地想把自己的理解记录下来,自认为“一万个人眼中有一万个哈姆雷...

为之则易,不为则难 3万+

在 ABAP 平台上搭建 OAuth 2.0 Server:架构、流程、权限与落地实战

摘要:本文为SAP ABAP开发人员提供将ABAP平台配置为OAuth 2.0授权服务器的实战指南。重点介绍两种授权流程(授权码和SAML Bearer)的实现方案,包括核心事务配置(SOAUTH2/SAML2)、授权对象(S_SCOPE)管理以及端点交互规范。通过具体配置清单和三类典型集成场景(第三方Web应用访问OData、企业集成平台调用、BTP应用对接)的落地示例,帮助读者快速构建安全的OAuth 2.0服务架构。文档强调SSL/TLS基础安全、scope最小授权原则以及授权与令牌端点的标准交互模式

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 314

游戏大厂技术护城河:你以为他们靠“美术和买量”,其实背后全是硬家伙

先把效果堆满到快上线了才发现低端机跑不动然后疯狂砍特效、降分辨率,画面崩、口碑崩机型分档(低/中/高)每帧预算(CPU/GPU 各多少 ms)每种资源预算(贴图、网格、粒子数量)性能自动回归(每天跑性能测试,发现波动立刻报警)大白话:小厂像装修到入住前才发现电路不够,临时拉线;大厂从设计图开始就算承重、算电路、算水压。玩家会不会来?活动会不会爆?版本会不会翻车?外挂会不会泛滥?竞品会不会抄?流量不确定 → 可扩容架构版本不确定 → 灰度与回滚。

本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度,也有思维广度,无论你是开发者、创业者还是高校学子,都能在这里找到适合自己的成长之路! 106
上一篇: UReport2开发环境搭建避坑指南:从Node配置到Maven镜像全流程解析
下一篇: PYNQ开发板DMA实战:Scatter Gather模式避坑指南(附AXI_CDMA寄存器解析)
人间清醒863
博客等级 码龄3年 33粉丝 1544原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值