J-Tech Talk 活动预告｜近似最近邻搜索算法 HNSW 的改进与优化

J-Tech Talk

由 Jina AI 社区为大家带来的技术分享

工程师们将深入细节地讲解具体的问题

分享 Jina AI 在开发过程中所积累的经验

针对海量向量数据的搜索，无论是工业界还是学术界都做了大量的研究。由于精确的向量搜索在海量数据的场景下搜索时间过长，所以目前的常见做法，是在向量上建立近似搜索索引。学术上我们称之为近似最近邻搜索 ANN (Approximate Nearest Neighbor Search) 问题，通常都是通过牺牲搜索精度来换取时间和空间的方式，从大量样本中获取最近邻。

根据 Benchmark 上 ANN 算法的基准测试结果，基于图结构的 HNSW 算法在查询速度和精度上优于其他 ANN 算法。但是 HNSW 算法本身的主要问题就是对内存占用较大，限制了其可以索引的数据大小。

目前 Jina AI 的开源向量索引产品 AnnLite 的核心近似搜索算法是基于 HNSW 来实现，并在此基础上提供了更加丰富的功能（例如支持前置过滤近似查询）。为了使得 AnnLite 能够具备更强的竞争力和实际应用价值，我们对 HNSW 算法进行了改进和优化。

本期 J-Tech Talk 邀请到了负责本优化项目的叶坚白，来分享《近