68、视频检索工具在2019视频浏览器展示会中的进展

视频检索工具在2019视频浏览器展示会中的进展

1 VIREO团队视频检索工具

1.1 团队参赛情况与工具概述

VIREO团队近两年来参加了视频浏览器展示会（VBS），在2017年的即席任务和2018年的视觉已知项搜索任务中表现出色。该团队的工具提供基于颜色草图和基于文本的两种搜索方法，用户可根据自身理解和记忆输入查询，通过反复更新查询和判断结果来找到正确答案。

1.2 2018年问题分析与改进方向

2018年，尽管基于文本检索的概念库包含14K个概念，但VIREO团队在即席任务中仅排名第6。经分析发现，该工具缺乏让用户有序探索数据集的能力，而图像可视化是解决此问题的关键。许多参赛团队通过集成可视化模块取得了显著成果，如KLU - AAU视频浏览器、SIRET团队和HTW团队等。

1.3 构建数据集的层次可视化

基于上述情况，团队提出构建数据集层次可视化的方法。决定浏览效果的主要因素是用于构建层次结构的特征和聚类算法。团队选用CNN特征和颜色直方图，因为它们在图像检索任务中表现出较强的鲁棒性。对于聚类，考虑使用k - 均值和自组织映射（SOM）。
- 特征提取 ：从视频关键帧中提取两种特征，即深度残差网络（ResNet）的CNN特征和RGB颜色空间的颜色直方图。使用ResNet50，提取池化层5的特征图并进行PCA降维至128维。将RGB颜色空间各通道的像素值离散化为8个区间，构建3D颜色直方图。
- 聚类与层次结构构建 ：为方便用户浏览，将提取的特征进行层次分区。在浏览窗口上定义一个8行10列的网格，每个单元格代