推荐算法：HNSW算法简介

• 推荐算法：HNSW算法简介
  • 1. HNSW算法概述
  • 2. HNSW算法原理
    • 1. Delaunay图
    • 2. NSW算法
    • 3. HNSW算法
  • 3. HNSW算法实现
    • 1. hnswlib
    • 2. nmslib
    • 3. faiss
  • 4. 参考链接

• 文献链接：Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs

1. HNSW算法概述

HNSW（Hierarchical Navigable Small Word）算法算是目前推荐领域里面常用的ANN（Approximate Nearest Neighbor）算法了。

其目的就是在极大量的候选集当中如何快速地找到一个query最近邻的$k$个元素。

要找到一个query的k个最近邻元素，一个朴素的思想就是我去计算这个query和所有的总量$N$个候选元素的距离，然后选择其中的前$k$个最小元素，这个经典算法的算法复杂度是$O(Nlog(k))$，显然这个算法复杂度实在是太高了，无法适用于实际的使用场景。

而要解决这个问题，可以有多种实现方法，这里所要说的HNSW算法就是目前比较常用的一种搜索算法，它算是其前作NSW算法的一个升级版本，但是两者的本质都是基于一个朴素的思路，就是通过图连接的方式给所有的$N$个候选元素事先地定义好一个图连接关系，从而可以将前述的算法复杂度当中的$N$的部分给减小掉，从而优化整体的检索效率。

其整体的一个图结果可以用下图进行表达：

我们在下面的第二小节当中会对这个算法进行具体的展开描述，而在第三小节当中我们会基于当前几个常见的开源库来对hnsw算法进行简单的实现。

2. HNSW算法原理

现在，我们来看一下HNSW算法的具体原理。

如前所述，HNSW算法是其前作NSW算法的优化算法，因此，在介绍HNSW算法的细节之前，我们需要首先来介绍一下NSW算法。

而要说明NSW算法，我们又必须要先引入Delaunay图，因为NSW算法本质上是对Delaunay图检索的有一个优化。

因此，下面，我们就分别来依序介绍一下这三部分的内容。

1. Delaunay图

首先，我们来介绍一下Delaunay图。

Delaunay图，或者说Delaunay三角剖分本质上就是将图上的一系列散点组成不相交的三角形，然后使得所有这些三角形中最小角度的最大化。

对于点集$P$的Delaunay三角剖分$D$