Fine-grained Dynamic Network for Generic Event Boundary Detection

通用事件边界检测的细粒度动态网络

Fine-grained Dynamic Network for Generic Event Boundary Detection

提出原因

如下图所示, 通用事件边界是无分类的,包含各种低级和高级语义边界,例如有仅仅通过镜头外观更改的低级边界(检测较为容易,图a),也有具有丰富语义信息,需要深层网络建模才能检测出来的高级边界(图b)。
但以往的方法往往都是提出一个网络架构,对所有的边界信息进行相同的建模,使得计算低级边界时成本也大,并且有可能因为本就能够简单分辨的特征被提取的过于复杂从而导致性能下降,因此本文提出了一种多出口网络,通过自动学习子网分配,允许对各种边界进行自适应推理。对应于低层语义信息的边界,例如镜头变化,仅通过具有浅层的子网来捕获外观信息和简单的时间依赖性。而需要高级语义进行边界识别的边界将遍历整个网络进行深入的时空建模。通过以细粒度的方式推断不同的输入,通用事件边界的处理可以被专门化以增强整个检测系统的性能和效率。
这样做的好处是:考虑到骨干网络f的计算成本明显大于检测器h的计算成本(超过FLOP的10倍),允许更多帧提前退出所获得的效率远远超过了难以检测的样本遍历所有检测器所造成的额外负担。
在这里插入图片描述

贡献点

设计了一个网络架构即DyBDet,主要由两个关键设计组成:
1.多出口网络,用于在视频片段级别进行自适应推理;(可以在不需要人工干预的情况下,自动地为视频中的不同片段(即不同时间段或事件)分配适当的子网络(subnet),以便对这些片段中的边界进行更加精确和细致的检测。)
2.多阶差分检测器,通过捕获最具特色的运动模式进行边界检测来实现动态性。(替换了原来简单的帧差检测器)

</

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值