Eternity的博客

      

摘要在这项工作中，我们介绍了一种时间和内存有效的结构化预测方法，可以在两个时间空间耦合神经元决策。我们表明，我们能够通过利用深度高斯条件随机场（GCRF）的最新进展在密集连接的时空图上执行精确和高效的推断。 我们的方法称为VideoGCRF（a）是有效的，（b）具有独特的全局最小值，并且（c）可以与当代深度网络一起被端对端地训练以用于视频理解。 我们在时间域中试验多种连接模式，并在视频的语义和实例...

在当前互联网时代，记录和分享了大量不可估量的多媒体数据。其中，视频是最常见和最丰富的模式之一，尽管它也是处理成本最高的模式之一。因此，快速精确的视频处理算法对于实际应用变得至关重要。视频对象分割（即，将视频序列的像素组分类为感兴趣的对象和背景）是尽管具有许多且有吸引力的应用的任务当前不能以令人满意的质量水平和以可接受的方式执行速度。问题的模式是一种简单而直观，但功能强大而且尚未探索的方式。视频对象...

Abstract 深度CNN在许多计算机视觉和图像理解任务中取得了优异的性能。然而，将视频对象分割（VOS）中的深度CNN有效地应用仍然很困难，因为将视频帧视为单独的和静态的将丢失隐藏在运动中的信息。为了解决这个问题，我们提出了一个VOS运动导向级联细化网络。通过假定对象运动通常与背景运动不同，对于视频帧，我们首先将活动轮廓模型应用于光流，以粗略地分割感兴趣的对象。然后，提出的级联细化网络（CRN...

语义分割 题目 解决问题 使用方法 code 框架 Dynamic Video Segmentation Network 运行速度+视频中运动表示主要的思想是使用两个network(一个full-segmentation, 一个flow-warp network), 前者准确，后者用来加速。 对一张图片划分四个region , 分别判断这四个region 过哪一个network, 判...

语义分割 题目 解决问题 使用方法 code 框架 Dynamic Video Segmentation Network 运行速度+视频中运动表示主要的思想是使用两个network(一个full-segmentation, 一个flow-warp network), 前者准确，后者用来加速。 对一张图片划分四个region , 分别判断这四个region 过哪一个network, 判...

Abstract我们提出了一种有效的半监督视频对象分割方法。 与其他方法相比，我们的方法在运行时间很短的情况下实现了与最先进的方法相比的准确性。为此，我们提出了一个深度的Siamese编码器 - 解码器网络，旨在利用掩模传播和对象检测的优势，同时避免两种方法的弱点。 我们的网络通过两个阶段的训练过程学习，这个过程既利用了综合数据，也利用了真实数据，在没有任何在线学习或后期处理的情况下稳健运行。 我...

摘要在线视频对象分割是一项具有挑战性的任务，因为它需要及时和准确地处理图像序列。为了通过视频分割目标对象，已经开发了许多基于CNN的方法，通过在第一帧中严格调整对象掩模，这对于在线应用来说是耗时的。在本文中，我们提出了一种快速准确的视频对象分割算法，一旦接收图像就可以立即开始分割过程。我们首先利用基于零件的跟踪方法来处理具有挑战性的因素，例如大变形，遮挡和混乱的背景。基于追踪的零件边界框，我们构建...

摘要我们处理半监督视频对象分割的任务，即使用第一帧的地面真实像素掩模来分割属于视频中的对象的像素。我们建立在最近引入的一次性视频对象分割（OSVOS）方法上，该方法使用预训练网络并在第一帧对其进行微调。 虽然在测试时间内实现了令人印象深刻的性能，但OSVOS以未改变的形式使用微调网络，无法适应物体外观的巨大变化。 为了克服这个限制，我们提出了在线自适应视频对象分割（OnAVOS），其使用基于网络的...

摘要实例级视频对象分割是视频编辑和压缩的一项重要技术。为了捕获时间的一致性，本文中，我们开发了MaskRNN，一个递归的神经网络方法，它在每个框架中融合了两个深网的输出，每个对象实例——一个提供一个掩码的二进制分割网络和一个提供一个边界框的定位网络。由于反复出现的构件和局部化构件，我们的方法能够利用视频数据的长期时态结构以及拒绝离群值。我们在三个具有挑战性的基准数据集、DAVIS-2016数据集、...

Abstract本文提出了一种端到端可训练网络，用于在视频中同时预测像素级目标分割和光流。本文提出的SegFlow有两个分支，在一个统一的框架下，对目标分割和光流的有用信息进行双向传播。分割分支是建立在完全卷积网络上的，在图像分割任务中被证明是有效的，并且光流分支利用了流网模型。统一的框架通过迭代的方式进行训练，以学习通用的概念，并对特定对象进行在线微调。对视频对象分割和光流数据集进行了大量的实验...

1、摘要我们提出了一个面向前景对象分割的端到端学习框架。考虑到一个单一的新图像，我们的方法为所有“对象”区域(甚至是在训练中从未见过的对象类别)生成一个像素级的掩码。我们将此任务作为一个结构化的预测问题，将一个前景/背景标签分配给每个像素，并使用一个深度完整的卷积网络实现。我们的想法的关键是通过混合图像级别的对象类别示例和相对较少的具有边界级别注释的图像进行培训。我们的方法极大地改进了ImageN...

一、摘要我们提出了一个端到端的学习框架，在视频中分割一般对象。我们的方法是学习将外观和运动信息结合起来，为所有突出的物体生成像素级的分割掩码。我们将该任务作为一个结构化的预测问题，设计了一个双流全卷积神经网络，将运动和外观融合在一个统一的框架中。由于缺乏像素级分段的大型视频数据集，我们展示了如何将弱注释的视频与现有的图像识别数据集一起进行训练。通过对三种具有挑战性的视频分割基准的实验，我们的方法实...

转自知乎 https://zhuanlan.zhihu.com/p/24709748

基于三端卷积网络的在线视频目标分割针对半监督视频目标分割任务，作者采取了和MaskTrace类似的思路，以光流为主。本文亮点在于：1.使用共享主干，三输出的自编码器。2.对一些视频中确定性像素建模，分割前后景。3.对被遮挡又重新出现的物体使用前后景GMMs损失建模识别，增加正确率。Abstract我们可以使用光流量矢量传递前面帧的分割效果到后续帧，但是这样会产生错误。因此作者提出了一个三端网络（C...