Elasticsearch稀疏向量查询(Sparse Vector Query)深度解析

任涌重

于 2025-05-30 09:07:08 发布

阅读量402

点赞数 3

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00602/article/details/148325009

Elasticsearch稀疏向量查询(Sparse Vector Query)深度解析

elasticsearch 项目地址: https://gitcode.com/gh_mirrors/elas/elasticsearch

什么是稀疏向量查询

稀疏向量查询是Elasticsearch中一种特殊的查询类型，专门用于处理由学习型稀疏检索模型生成的稀疏向量数据。这种查询方式在语义搜索、推荐系统等场景中特别有用。

稀疏向量查询的核心原理

稀疏向量查询基于两种主要策略：

NLP模型转换策略：使用自然语言处理模型将查询文本转换为令牌-权重对列表
预计算向量策略：直接传入预先计算好的令牌-权重对作为查询向量

查询时，系统会使用与创建令牌时相同的推理模型来计算查询向量。这些查询向量会与其各自的权重进行OR操作，评分过程实际上是存储维度与查询维度之间的点积计算。

查询示例解析

基础查询示例

GET _search
{
   "query":{
      "sparse_vector": {
        "field": "ml.tokens",
        "inference_id": "the inference ID to produce the token weights",
        "query": "the query string"
      }
   }
}

这个示例展示了如何使用NLP模型将查询文本转换为稀疏向量进行搜索。

预计算向量查询示例

GET _search
{
   "query":{
      "sparse_vector": {
        "field": "ml.tokens",
        "query_vector": { "token1": 0.5, "token2": 0.3, "token3": 0.2 }
      }
   }
}

这个示例展示了如何直接使用预计算的稀疏向量进行查询，适用于已经拥有向量表示的场景。

关键参数详解

必选参数

field：指定包含令牌-权重对的字段名称，这是必须提供的参数

可选参数

inference_id：用于将查询文本转换为令牌-权重对的推理ID
query：要用于搜索的查询文本
query_vector：预计算的查询向量字典
prune：是否执行剪枝操作以提高查询性能
pruning_config：剪枝配置对象

剪枝配置深入解析

剪枝配置可以显著提高查询性能，其核心参数包括：

tokens_freq_ratio_threshold：令牌频率与平均频率的比率阈值
tokens_weight_threshold：令牌权重阈值
only_score_pruned_tokens：是否仅对剪枝后的令牌进行评分

实际应用场景

ELSER模型查询示例

GET my-index/_search
{
   "query":{
      "sparse_vector": {
         "field": "ml.tokens",
         "inference_id": "my-elser-model",
         "query": "How is the weather in Jamaica?"
      }
   }
}

这个示例展示了如何结合ELSER模型进行语义搜索。

复合查询策略

稀疏向量查询可以与其他查询类型组合使用，常见策略包括：

布尔查询组合：使用should子句组合多个稀疏向量查询
线性加权：通过boost参数调整不同查询的权重
互惠排名融合(RRF)：使用rrf检索器组合标准检索器和稀疏向量查询

剪枝与重评分高级应用

GET my-index/_search
{
   "query":{
      "sparse_vector":{
         "field": "ml.tokens",
         "inference_id": "my-elser-model",
         "query":"How is the weather in Jamaica?",
         "prune": true,
         "pruning_config": {
           "tokens_freq_ratio_threshold": 5,
           "tokens_weight_threshold": 0.4,
           "only_score_pruned_tokens": false
         }
      }
   },
   "rescore": {
      "window_size": 100,
      "query": {
         "rescore_query": {
            "sparse_vector": {
               "field": "ml.tokens",
               "inference_id": "my-elser-model",
               "query": "How is the weather in Jamaica?",
               "prune": true,
               "pruning_config": {
                   "tokens_freq_ratio_threshold": 5,
                   "tokens_weight_threshold": 0.4,
                   "only_score_pruned_tokens": true
               }
            }
         }
      }
   }
}

这个高级示例展示了如何结合剪枝配置和重评分机制来优化查询性能和结果相关性。