项目实战 （10）---后台搜索Cache优化

目录

背景

技术实现策略

视频预处理阶段的cache技术

视频搜索阶段的cache技术

技术实现

预处理阶段cache策略实现

逻辑

代码

运行结果

问题及注意点

搜索阶段cache策略实现

系统配置层面

逻辑

低版本

GPU

CPU

本项目的配置

高版本

描述

go ahead 策略

cache 加载策略

本项目配置

应用层搜索参数的配置

配置项

本项目的实际配置

---

背景

但目前为止，视频搜索系统已经可以正常使用和运转。并且他是基于多策略搜索算法的，能够在很大程度上保证搜索的时效性和稳定性。但作为商用视频搜索系统，还差点东西，Cache最为优化的一个重中之重，其作用不言而喻。在大型垂直系搜索系统中，cache起着举足轻重的作用。原因很简单，因为搜索的视频或者视频描述，在很大程度上具备一定的重复性。利用已知的分析结果，如果在新来的search尽可能的让推送可以复用，但是又要考虑系统本身的存储负荷。在系统存储资源有限的情况下，不可能无止境的store cache。需要一个平衡点，既涉及到cache提高效率，又不能在某些环境下急剧增大系统存储负荷。但不得不承认，如果能善用缓存，将大大提高整个视频搜索系统的搜索效率。今天聚焦在后台搜索cache的优化上，并一步一步优化落地。

技术实现策略

实际上，cache 分为两个层面。一个层面是视频预处理阶段的缓存处理。另一个就是搜索阶段的cache 处理。