4、SIFT Flow：跨场景密集对应及其应用

SIFT Flow：跨场景密集对应及其应用

1. SIFT Flow邻域

在理论上，我们可以将光流应用于任意两张图像来估计对应关系。但如果这两张图像来自不同的场景类别，可能无法得到有意义的对应结果。实际上，即便在视频序列中对相邻帧应用光流，我们也假设时间上是密集采样的，这样相邻两帧之间会有显著的重叠。

在SIFT Flow中，当我们用输入图像查询大型数据库时，将图像的邻域定义为其最近邻。理想情况下，如果数据库足够大且密集，包含了世界上几乎所有可能的图像，那么这些最近邻图像会与查询图像相近，共享相似的局部结构。这就引出了与光流的类比：
- 时间上的密集采样：光流 :: 所有图像空间中的密集采样：SIFT Flow

为了实现这个类比，我们收集了一个大型数据库，包含来自731个视频的102,206帧，大部分是街景。类似于时间域，我们将查询图像在该数据库中的N个最近邻定义为其“相邻帧”，然后在查询图像和这N个最近邻之间建立SIFT Flow。

对于查询图像，我们使用快速索引技术来检索其最近邻，后续会使用SIFT Flow对这些最近邻进行进一步对齐。快速搜索采用量化SIFT特征的空间直方图匹配方法：
1. 从数据集中所有视频帧中随机选择5000个SIFT描述符，运行K - means算法，构建一个包含500个视觉单词的字典。
2. 在两级空间金字塔上获取视觉单词的直方图，使用直方图相交来衡量两张图像之间的相似度。

其他场景度量方法，如GIST，也可用于检索最近邻。有研究表明，各种最近匹配算法在获取用于匹配的最近邻时，结果没有显著差异。

2. 视频检索实验

2.1 视频检索结果