Towards High Performance Video Object Detection解读

最新推荐文章于 2021-03-11 21:30:54 发布
最新推荐文章于 2021-03-11 21:30:54 发布
阅读量1.1k 收藏 3
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41298141/article/details/91996831
该文提出一种在视频对象检测中兼顾速度和精度的改进方法，结合DFF和FGFA的优势。通过稀疏关键帧的特征聚合、空间自适应局部特征更新和自适应关键帧选取策略，提升检测性能。实验表明，这些改进有效平衡了速度与准确率的权衡。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Towards High Performance Video Object Detection Xizhou Zhu∗ Jifeng Dai Lu Yuan Yichen Wei CVPR2018

在DFF和FGFA基础上进行了三点改进，在速度和精度上进行了权衡。DFF专注于提高速度，FGFA专注于精度，本文将两者优势结合起来。

（1）
特征的稀疏递归聚合

FGFA是在每一帧上进行特征聚合，而在这里只在稀疏的关键帧上进行聚合。上一个关键帧增强当前关键帧，增强后的关键帧又去增强下一个关键帧。

在这里插入图片描述

第一个公式是对两个连续的关键帧k k‘进行递归特征聚合，用上一帧warp过来的特征和当前帧的真实特征进行加权求和，得到聚合的增强特征，聚合后的关键帧包含了之前所有关键帧的特征信息。

（2）
空间自适应局部特征更新

与关键帧相邻的非关键帧有部分区域变化较大，如果用光流传播的特征就容易出错，所以在这里引入一个叫特征信息时间一致性的判别矩阵Q，由光流网络生成，大小和特征光流场一样大，每一个位置的值表示这个位置的光流的质量，若在某位置p的值小于阈值，则说明该位置的光流不行，质量不好，需要重新计算p位置的特征
在这里插入图片描述

（3）
自适应的关键帧选取

之前的关键帧都是固定间隔选取的，本文采用矩阵Q和is_key()函数计算出那些光流质量不好的点占的比例，如果大于设置的阈值，就说明当前帧与上一关键帧的变化就很大，就设置成新的关键帧

最低0.47元/天 解锁文章

200万优质内容无限畅学
qq_41298141
关注
【深度学习 video detect】Towards High Performance Video Object Detection for Mobiles
q742971636的博客
08-10 912
尽管在桌面GPU上取得了视频目标检测的最近成功，但其架构对于移动设备来说仍然过于沉重。目前尚不清楚在非常有限的计算资源下，稀疏特征传播和多帧特征聚合的关键原则是否适用。在本文中，我们提出了一种适用于移动设备的轻量级视频目标检测网络架构。我们在稀疏关键帧上应用了轻量级图像目标检测器。设计了一个非常小的网络，名为Light Flow，用于在帧之间建立对应关系。我们还设计了一个流引导的GRU模块，以有效地聚合关键帧上的特征。对于非关键帧，进行了稀疏特征传播。整个网络可以端到端地进行训练。
Video Object Detection with an Aligned Spatial-Temporal Memory
qq_41298141的博客
07-18 1056
主要贡献：提出了一个新的时空记忆网络（STMN）用于视频目标检测。将预先训练好的图像分类权重集成到memory和网络内对齐模块中，该模块在时间上对memory进行空间对齐 Towards high performance for video object detection和fgfa只能在固定数量的小帧上进行聚合信息，本文的方法可以在长的可变的帧上面进行信息聚合。只需要计算一个帧级的空间memor...
Towards High Performance Video Object Detection
11-21
面向高性能视频对象检测 Towards High Performance Video Object Detection 近年来，图像目标检测有了显著的进展。然而，视频对象检测虽然在实际场景中更具挑战性和重要性，但是很少受到关注。我们的方法扩展了已有的三种新技术，并将性能包络（速度精度折衷）稳步推进到高性能视频对象检测。
Towards High Performance Video Object Detection -CVPR 2018
啦啦头头
04-15 3591
Towards High Performance Video Object Detection接着上面的工作（DFF，FGFA），这里在abstract中写的很霸气，直接说了基于之前的工作，提出三种不同的方法来提高检测的速度和精度。Method直接上图来解释他们的工作，其中a代表DFF（deep feature flow），b 代表FGFA（flow guided feature aggregat...
Towards High Performance Video Object Detection论文笔记
qq_43378685的博客
03-23 444
这篇文章可以说是很牛逼的又快有准的文章，对比之前的这个团队的deep feature fow（快）和Flow-guided feature aggregation（准），这篇文章可以说是又快又准。但是可惜，这篇文章没有公开代码。不过前两个工作是公开代码的，在github上很容易能找到。 先说结果，2017年的ImageNet VID winner是这个团队的作品，是基于前两个工作：快的dff（de...
CVPR,2018,THP-Towards High Performance Video Object Detection面向高性能的视频目标检测
qq_39957456的博客
03-11 371
CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写，IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议。 思路 DFF：有检测的速度 FGFA：有检测的精度 THP结合平衡两者的优势，既要保证速度还要有足够的精度。 知识 关键帧利用光流场（Flow Field ）生成非关键帧的条件： 方法 c1特征的稀疏递归聚合——关键帧之间 两帧之间做aggrega...
【3D 目标检测】2019 CVPR Learning 2D to 3D Lifting for Object Detection in 3D for Autonomous Vehicles
鹿鹿的博客
11-10 2048
CVPR 2019 Learning 2D to 3D Lifting for Object Detection in 3D for Autonomous Vehicles 3D object detection 2D monocular images autonomous driving scenarios Proposal lift the 2D images to 3D represe...
towards high performance video object detection for mobiles
qq_41298141的博客
07-16 483
Abstract： 之前的视频目标检测算法结构复杂仍然不适合在手机上运行。本文提出了一个轻量级网络结构用于在手机上进行视频目标检测。ligh flow 一个很小的网络，用于在帧之间构建联系。a flow-guided GRU模块用来在关键帧上提取特征。非关键帧的特征用关键帧的特征进行传播。整个网络是端到端训练的，获得了60.2%mAP，25.6fps（HuaWei Mate 8） 模型结构 fo...
towards high performance video detection
qq_41298141的博客
06-25 230
Xizhou Zhu∗， Jifeng Dai，Lu Yuan，Yichen Wei，et.al Towards High Performance Video Object Detection// IEEE Conference on Computer Vision & Pattern Recognition. 2018 该论文在DFF和FGFA的基础上进行了三点改进，DFF专注于速度...
视频中运动物体检测并框出
12-06
opencv的运动物体检测并框出，只要环境对的话，测试就没有问题。
视频物体检测文献阅读笔记
Wayne2019的博客
01-06 3158
Impression Network for Video Object Detection 基于印象机制的高效多帧特征融合，解决defocus and motion blur等问题（即视频中某帧的质量低的问题），同时提高速度和性能。 类似TSN，每个segment选一个key frame（注意，TSN做视频分类是在cnn最后才融合不同的segments）。特征融合前需要用Optical
2018-04-Towards High Performance Video Object Detection for Mobiles-论文阅读笔记
Meihuashan_HUST的博客
11-27 1400
原文：https://arxiv.org/abs/1804.05830 摘要： 轻量的图像目标检测网络应用到关键帧上。轻量的光流网络建立帧间关系。光流导向的GRU模块被用于关键帧特征的集成。对于非关键帧用光流进行特征图传播。整个网络端到端训练，在VID达到60.2的mAP，跑到25帧的速度（HuaWei Mate 8 ） 引言： 虽然一些工作针对轻量型的网络，比如SqueezeNet，Mobil...
Flow-Guided Feature Aggregation for Video Object Detection
升级迭代
05-31 596
论文：https://arxiv.org/pdf/1703.10025.pdf 代码：https://github.com/sunshinezhihuo/Flow-Guided-Feature-Aggregation
视频目标检测综述
逆熵而行
03-08 9450
视频目标检测，相对于图片目标检测，最大的特点就是增加了上下文的信息，视频的每一帧图片有上下文的连接对应关系和相似性。由于有上下文的关系，所以可以利用前后帧的检测结果，提升当前帧的检测精度；由于前后帧具有相似连续性，所以可以利用冗余信息加快每一帧的检测速度。 目前大部分的论文都把视频帧分成关键帧和非关键帧两部分，关键帧的选取有两种方法：一种是间隔固定的帧数选取，另一种是自适应的方法选取。关键帧上的目...
ECCV 2016《SSD: Single Shot MultiBox Detector》论文笔记
lch的博客
07-10 755
本学弱喜欢在本子上记笔记，但字迹又丑。望看不懂我的字的大佬不要喷我，看得懂的大佬批评指正。
Object Detection(目标检测神文)
热门推荐
Mars_WH的专栏
08-21 6万+
目标检测神文，非常全而且持续在更新。转发自：https://handong1587.github.io/deep_learning/2015/10/09/object-detection.html，如有侵权联系删除。 Papers ———————————————————————————————————- Deep Neural Networks for Object Detection Ov...
CVPR 2016 摘要阅读
Tsingzao的博客
08-02 4万+
为了说明看过CVPR2016全部文章的摘要，总结一下，摘要只保留了创新点部分。 ORAL SESSION Image Captioning and Question Answering Monday, June 27th, 9:00AM - 10:05AM. These papers will also be presented at the following poster sessio
光流在视频检测和分割的再应用
Sundrops的专栏
04-25 7735
之前介绍了光流提升视频识别的速度和精度的文章，这次还是光流在视频检测和分割的应用，不过做的更完善了 Towards High Performance Video Object Detection 如图所示，较上一篇博客中的两篇文章主要有3个地方改进(详细请看该论文中的Ablation Study部分) - a 是我上一篇博客介绍的一个是利用光流提升速度，通过光流将关键帧的特征pr...
shufflenetv2和mobilenetv3yolov8
最新发布
03-02
- In terms of object detection efficiency combined with high recall rates at faster inference speeds, YOLOv8 stands out due to specialized architectural choices aimed directly at this domain problem ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值