过滤向量搜索：重要性及技术解析

向量搜索可以在大量文本、图像和其他数据中快速定位语义上相似或相关的候选。然而，在实际应用场景中，纯向量搜索通常是不够的。

实际数据通常包含时间、类别、用户 ID 和其他关键词等属性。对这些属性应用一个或多个过滤条件可以显著提高检索增强生成（RAG）系统的准确性，同时为大规模多租户系统奠定基础。基于 ClickHouse 数据库开发的 MyScale 支持各种 SQL 数据类型，实现了高准确性和高效率的带有任意过滤比例的搜索。

本文讨论了过滤向量搜索的重要性，以及实现它的技术，包括预过滤和后过滤，以及行存储和列存储。

过滤向量搜索对于提高 RAG 系统的准确性至关重要

过滤搜索在支持高准确性的 LLM/AI 应用中起着至关重要的作用。在文档内容较少的场景中，纯向量检索通常可以返回相对准确的候选项。然而，随着文档数量的增加，检索的召回率通常会迅速下降。在金融、大型企业应用等复杂文档系统中，相关内容通常非常丰富。在这些情况下，纯向量检索往往会返回许多相似但不正确的段落，从而对 LLM 的最终响应的准确性产生负面影响。

例如，在金融分析场景中，用户可能会问：“<某公司> 的管理风格是什么？”当 <某公司> 是一个不太常见的公司名称时，纯向量检索通常会返回许多相似但不准确的内容，比如关于类似公司管理风格的段落，这会阻碍LLM对响应的准确生成。

然而，如果我们事先知道与 <某公司> 相关的文档标题中包含了这个关键词，我们可以使用 WHERE title ILIKE '%<某公司>%' 进行预过滤，从而将搜索结果缩小为只包含相关文档。此外，LLM可以自动提取 <某公司>，例如作为函数调用中的参数或从查询文本生成 SQL WHERE 子句，确保系统灵活易用。

通过使用这些结构化属性进行过滤，我们观察到在金融文档分析和企业知识库等实际