使用 Qdrant 和 FiftyOne 进行最近邻嵌入搜索

神经网络嵌入是输入数据的低维表示，可用于各种应用。嵌入具有一些有趣的功能，因为它们可以捕获数据点的语义。这对于图像和视频等非结构化数据特别有用，因此您不仅可以编码像素相似性，还可以编码一些更复杂的关系。

对这些嵌入执行搜索会产生许多用例，例如分类、构建​​推荐系统，甚至是异常检测。对嵌入执行最近邻搜索以完成这些任务的主要好处之一是无需为每个新问题创建自定义网络；您通常可以使用预先训练的模型。
无需任何进一步的微调就可以使用由一些公开可用的模型生成的嵌入。

虽然有很多涉及嵌入的强大用例，但在对嵌入执行搜索的工作流程中存在一些挑战。具体来说，在大型数据集上执行最近邻搜索，然后有效地对搜索结果采取行动，例如，执行自动标记数据等工作流程，既是技术挑战，也是工具挑战。为此，Qdrant 和 FiftyOne 可以帮助简化这些工作流程。

Qdrant是一个开源向量数据库，旨在对密集神经嵌入执行近似最近邻搜索 (ANN)，这对于任何预期可扩展到大量数据的生产就绪系统都是必需的。

FiftyOne是一个开源数据集管理和模型评估工具，可让您有效地管理和可视化数据集、生成嵌入并改进模型结果。

在本文中，我们将 MNIST 数据集加载到 FiftyOne 中，并基于 ANN 进行分类。数据点将通过从我们的训练数据集中选择 K 个最近点中最常见的地面实况标签进行分类。换句话说，对于每个测试示例，我们将使用选定的距离函数选择其K个最近邻，然后通过投票选择最佳标签。向量空间中的所有搜索都将使用 Qdrant 完成以加快速度。然后，我们将在 FiftyOne 中评估此分类的结果。

安装

如果您想开始使用 Qdrant 的语义搜索，您需要运行它的一个实例，因为此工具以客户端-服务器方式工作。最简单的方法是使用官方的 Docker 镜像并使用一个命令启动 Qdrant：