11、网络视频碎片化、反向搜索及近重复视频检索

网络视频碎片化、反向搜索及近重复视频检索

一、网络视频反向搜索背景与挑战

社交媒体平台上用户生成的视频内容是宝贵的信息来源，尤其是在突发或正在发展的事件中，业余拍摄者作为目击者所分享的视频。记者和调查人员常常在这些平台上搜索突发事件的媒体记录。然而，随着社交媒体上信息传播的增加，假新闻也随之增多。其中一种常见的假新闻制作方式是重复使用早期视频，并声称其展示的是当前事件，以此误导观众。

为了检测和揭露这类假新闻，调查人员需要在网络上找到视频的原始版本。过去几年中，虽然已经开发了一些支持视频反向搜索的工具，但这些工具存在一些局限性：
1. 视频缩略图限制 ：通常依赖视频托管平台提供的有限视频缩略图。
2. 手动提取耗时 ：手动提取视频帧进行反向图像搜索非常耗时。
3. 搜索范围受限 ：只能在封闭和受限的视频集合中搜索近重复视频。
4. 本地视频处理难 ：无法处理用户机器上的本地视频副本。

二、InVID的解决方案

InVID设计并开发了一种方法，将单镜头视频（如大多数用户生成视频）分解为视觉和时间上连贯的部分，即子镜头。该方法被集成到一个基于网络的交互式工具中，允许对给定视频（无论是在线找到的还是本地存储在用户机器上的）进行细粒度的反向搜索。具体操作步骤如下：
1. 自动提取关键帧 ：自动提取一组能够充分代表和总结视频内容的关键帧。
2. 片段级搜索 ：使用这些关键帧在网络上进