Vector Search with OpenAI Embeddings: Lucene Is All You Need

本文是LLM系列文章，针对《Vector Search with OpenAI Embeddings: Lucene Is All You Need》的翻译。

摘要

我们在流行的MS MARCO文章排名测试集上使用Lucene提供了一个可复制的、端到端的OpenAI嵌入向量搜索演示。我们工作的主要目标是挑战主流的说法，即专用向量存储是利用深度神经网络应用于搜索的最新进展所必需的。恰恰相反，我们表明Lucene中的分层可导航小世界网络（HNSW）索引足以在标准双编码器架构中提供向量搜索功能。这表明，从简单的成本效益分析来看，似乎没有令人信服的理由将专用向量存储引入现代“人工智能堆栈”中进行搜索，因为这些应用程序已经在现有的、广泛部署的基础设施中获得了大量投资。

1 引言

2 从架构到实现

3 实验