FNN:利用均值和方差构造欧式距离下界

在做NN算法的时候遇到了一个有意思的论文。通过向量自身的均值和方差构建的高维点间的距离下界。实现了快速的线性NN搜索。

文中发现的这一下界公式觉得很有意思，特来详细介绍一下。

背景

高维向量间的欧式距离计算是十分昂贵的。在高维欧式空间进行近邻搜索，最差的算法是线性扫描，一个一个计算欧氏距离，来筛选。快速NN算法的目的是保持线性扫描的性质不变，但是利用一些过滤机制快速过滤掉一些质量较差的邻居，最终昂贵的计算只留给一些无法区分的邻居。

其利用的手段常常就是构造距离下界(lower bound, LB)。具体见如下公式：

$$dist(x_c,q)<LB(x,q)\le dist(x,q)$$
其中$dist(\cdot)$代表两个点间的欧式距离。$q$是查询点，$x_c$是当前的近邻候选点（亦即目前为止找到的距离$q$最近的点），$x$是当前遍历到的数据点。$LB(x,q)$表示$x,q$两点间的距离下界，距离下界一定是小于等于原始距离。

过滤的原理是：如果$x,q$两点间的距离下界大于当前的近邻半径（即近邻候选点到$q$的距离），那么$x$就不再可能是近邻，可以被排除。

这里，大家PK的就是LB的质量。好的LB就是要用更少的计算量实现更大程度地接近原始距离。

基于均值和标准差的LB

论文[1]构造了如下一种下界：

$$LB(x,y)=d\cdot dist^2(\pi_x,\pi_y)$$

其中$\pi$是一个二维向量，$\pi_x=(\mu_x,\delta_x)$