一文深度解读多模态大模型视频检索技术的实现与使用

当视频检索叠上大模型Buff。

万乐乐｜技术作者

视频检索，俗称“找片儿”，即通过输入一段文本，找出最符合该文本描述的视频。

随着视频社会化趋势以及各类视频平台的快速兴起与发展，「视频检索」越来越成为用户和视频平台实现高效查找视频、定位目标内容的新需求。

对于个人用户而言，面对海量的在线视频资源，快速准确地通过关键词或描述找到感兴趣的视频十分重要。同时，在个人存储设备如手机或网络云盘中，用户也存在检索自己拍摄录制的视频资料的需求。

而对于视频剪辑师和制作团队来说，在庞大的媒资库中搜索所需的视频片段或素材是一项日常基础工作。精准高效的视频检索技术可以满足其在短时间内锁定匹配的素材，有效提升创作效率。

某新媒体编辑网站媒资搜索截图

此外，对于视频平台和监管部门来说，如何在数以亿计的视频库中定位到包含劣迹艺人的视频并下线，也是巨大的挑战。

「视频检索」技术的发展与应用不仅是解决信息过载、提高数据处理效率的有效途径，更是在满足个人用户、专业创作者乃至整个视频行业发展的迫切需要中扮演着至关重要的角色。

本文将回顾视频检索技术的发展历程，并揭秘隐藏在新一代自然语言视频检索技术背后的大模型。

01 视频检索现状

视频检索是怎么实现的？我们以优酷搜片为例，优酷的视频检索技术基于：

• 主要搜索内容为标题与描述；

• 通过多模态内容识别人物、ASR、OCR，转化为文本搜索；

• 具有一定Query理解能力与实体知识匹配（转化为搜索关键词）；

• 具有一定的通过语义理解的Query意图分析（识别诸如How To类问题）。

图片来源：阿里文娱技术团队

上述技术方案的能够满足使用者基本的视频检索需求，但是也存在缺陷：

• 大量视觉信息无法参与检索召回：基于现有多模态算法的搜索，只能识别处于标签体系内的人、物、ASR、OCR等内容，大量视觉信息（比如在蓝天翱翔的飞鸟），无法文本化参与检索。

• 强依赖知识图谱与语义分析：知识图谱的维护与更新、意图理解的能力，均需要不断地投入与更新，使用负担较大。

• 基于关键词的搜索丢失语义联系：以“马老师骑自行车”为例，基于关键词的搜索只能合并搜索“马老师”和“自行车”两个关键词，丢失“骑”这个概念，导致召回偏差。

与此同时，随着时代发展，大家找片子的手法也越来越刁钻。使用者希望不再满足于某个关键词，而是希望使用类似下面的自然语言，去匹配视频本身的内容，而不仅仅是人、物、ASR、OCR可文本化的内容，比如：足球运动员受伤、飞机穿越天门山、春风化雨育桃李......

如果要实现这样智能的搜索效果，应该怎么做呢？我们先来回顾视频检索技术的发展历程。

02 视频检索技术发展历程

第一代：基于文本的传统视频检索

在网络还不发达的时代，计算机对于音视频的处理能力及其有限，媒体数据仅仅被当作是文本数据的扩展。为了能够搜索媒体数据，网站编辑一般会对媒体数据做一次人工编目：取好标题，写好描述，甚至会手动添加若干关键词。

所以，传统的视频检索，本质上是退化为文本检索，通过利用关系型数据库（如mysql）或文本倒排数据库（ElasticSearch）的能力，对文本分词，进行检索排序。

<