出处“来自微信公众号:我爱计算机视觉”
商汤科技开源DAVIS2017视频目标分割冠军代码
用目标重识别改进视频目标分割。
传统视频分割经常依赖于时序连续来生成mask(目标的掩膜),而真实的视频中的目标位置往往存在着一些跳变,比如在目标快速漂移和被遮挡的时候因为较大的位移而使得这种假设目标运动连续的算法失败。为了克服这个问题,来自香港中文大学、哈尔滨工业大学和商汤科技公司的研究团队提出了一种更有效的机制,即通过自适应的目标重识别(object re-identification)应对目标丢失。
基于此的目标重识别视频分割(VS-ReID)模型包括目标mask生成模块和ReID模块。mask生成模块通过光流卷曲(flow warping)生成初始的(目标-背景)引导概率图,ReID模块则在视频序列中通过自适应匹配检索丢失的目标实例。这两个模块迭代应用,有效解决了视频分割中突然的目标位移过大带来的丢失,VS-ReID模型在2017 DAVIS视频分割比赛中获得了冠军。
问题描述:给定视频序列和第一帧的标注,输出所有实例后续的mask
</