数据检索：倒排索引加速、top-k和k最邻近

之前在https://www.yuque.com/treblez/qksu6c/wbaggl2t24wxwqb8?singleDoc# 《Elasticsearch: 非结构化的数据搜索》我们看了ES的设计，主要侧重于它分布式的设计以及LSM-Tree，今天我们来关注算法部分：如何进行检索算法的设计以及如何加速倒排索引。然后看看topk的面试热门题如何解决。

状态检索：bloom filter的哈希函数公式

如何确定bloom filter的哈希函数个数
bloom filter的最优hash函数个数的计算公式为：
k = (m/n)*ln2
其中m为bit数组的长度，n为要存入的对象个数。

加速倒排索引和Roaring Map

倒排索引的结构？如何优化posting list？
倒排索引由key和posting list构成，posting list可以用很多结构实现，比如红黑树、跳表、链表等。
优化归并过程
posting list往往会用于归并过程（join），这里我们很容易想到spark的join策略：嵌套循环、排序归并和哈希归并。他们的复杂度分别是m*n,m+n和n(较大)。
因为posting list天生有序，所以这里主要的策略在于加速排序归并和哈希归并过程。
排序归并可以用跳表和红黑树，双指针相互二分查找将每次搜索的复杂度降低到logk。
Lucene和Elasticsearch就采用了这种方法。
同样，posting list也可以使用哈希表和位图来实现。
Roaring Bitmap
普通的哈希表和位图很简单，不再赘述。更广泛使用的是Roaring Bi