一文详解：面向多级多模态场景的召回引擎

作者| 阿里文娱开发专家 崇懿；阿里文娱开发专家慧善
责编 | 屠敏
头图 | 优快云 下载自视觉中国
出品 | 优快云（ID：优快云news）

优酷视频搜索在文本搜索系统的基础上，不断探索视频搜索的方案，在多模态输入、多级多模态索引、跨模态检索上积累了丰富经验，并应用到C端B端场景中。本次分享将揭开多模态图引擎的面纱。

背景

随着智能手机及移动互联网的快速发展，人们接触到的多模态数据在数量和类别上都在飞速增长。计算、存储能力不断突破，人工智能技术也得以发展，在云、端测中CV技术、AR/VR技术都为人们提供更便利、智能的体验。

优酷作为视频平台拥有海量OGC、UGC视频内容，视频内容数据是一个高维度多模态的数据，有标题、简介、评论等文本信息，有视频帧的图像信息，有声音，也有连贯的动作视频片段。传统的基于倒排索引的搜索引擎只适合检索文本信息，对于多媒体内容检索能力不足。

为了让用户更便捷的找到多媒体内容，增加多模态搜索能力，开创性设计与研发多级多模态搜索引擎（MMS）。提供分布式大规模多层级多模态索引能力，低延时跨模态级联检索能力，多层级检索、融合、排序能力。

系统概况

基于阿里平台的Hippo（在线服务调度）、SAP（应用服务框架）等基础设施开发部署。MMS主要是在索引结构、检索控制、执行框架、部署等方面做了系统设计