Elasticsearch权威指南：分而治之的停用词处理策略-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00328/article/details/148576852

Elasticsearch权威指南：分而治之的停用词处理策略

elasticsearch-definitive-guide The Definitive Guide to Elasticsearch 项目地址: https://gitcode.com/gh_mirrors/el/elasticsearch-definitive-guide

理解查询词项的重要性差异

在全文搜索中，查询字符串中的词项往往具有不同的重要性。Elasticsearch权威指南中提出的"分而治之"策略，通过分析词项频率将查询词分为两类：

低频词项（高重要性）：在文档集合中出现较少的词，通常具有更高的区分度
高频词项（低重要性）：在文档中频繁出现的词，如"and"、"the"等停用词

这种分类方法能显著提升查询效率，因为我们真正关心的是包含尽可能多重要词项的文档。

cutoff_frequency参数的核心作用

match查询中的cutoff_frequency参数是实现这一策略的关键。它允许我们：

自动划分高低频词项
对低频词采用严格匹配要求
对高频词仅用于评分优化而非强制匹配

参数值可以设置为比例（如0.01表示1%）或绝对数值（如5）。当词项在超过指定比例的文档中出现时，即被归类为高频词。

领域特定停用词的自动识别

cutoff_frequency的一个显著优势是能自动识别领域特定停用词。例如：

电影网站中的"movie"、"color"
技术文档中的"server"、"client"

传统方法需要手动维护停用词表，而基于频率的自动分类更加智能和动态。

查询重写机制剖析

当执行包含cutoff_frequency的查询时，Elasticsearch会在内部将其重写为bool查询。例如查询"Quick and the dead"（cutoff_frequency=0.01）会被重写为：

{
  "bool": {
    "must": {
      "bool": {
        "should": [
          { "term": { "text": "quick" }},
          { "term": { "text": "dead" }}
        ]
      }
    },
    "should": {
      "bool": {
        "should": [
          { "term": { "text": "and" }},
          { "term": { "text": "the" }}
        ]
      }
    }
  }
}

这种结构确保：

must子句：至少匹配一个低频词（高重要性）
should子句：对包含高频词的文档给予更高评分

高级控制技巧

精度控制

通过minimum_should_match参数可以进一步控制低频词的匹配精度。例如设置为"75%"时，对于两个低频词，至少需要匹配1个（75%向下取整）。

纯高频词查询的特殊处理

当查询只包含高频词（如"To be or not to be"）时，Elasticsearch会优化为所有词项都必须匹配的must查询，避免性能低下的全量评分。

使用common terms查询获得更细粒度控制

对于需要更精细控制的场景，可以使用common terms查询替代基础的match查询。它提供了更多参数：

low_freq_operator：控制低频词的逻辑关系（AND/OR）
minimum_should_match.high_freq：单独设置高频词的匹配比例

例如，要求所有低频词必须匹配，且至少75%高频词匹配的查询：

{
  "common": {
    "text": {
      "query": "Quick and the dead",
      "cutoff_frequency": 0.01,
      "low_freq_operator": "and",
      "minimum_should_match": {
        "high_freq": "75%"
      }
    }
  }
}