Elasticsearch-01-文本检索算法-优快云博客

Elasticsearch-01-文本检索算法详解

概述

Elasticsearch作为强大的搜索和分析引擎，提供了多种文本检索算法来满足不同的搜索需求。本文档将详细介绍两种核心的文本检索算法：TF-IDF和BM25。

1. TF-IDF算法

基本原理

TF-IDF（Term Frequency-Inverse Document Frequency）是一种统计方法，用于评估一个词在文档或语料库中的重要程度。TF-IDF值与一个词在文档中出现的次数成正比，与该词在整个文档集合中出现的频率成反比。

计算公式

TF（词频）：词在文档中出现的频率

TF(t, d) = (词t在文档d中出现的次数) / (文档d中的总词数)

IDF（逆文档频率）：衡量词的重要性

IDF(t) = log(文档总数 / 包含词t的文档数 + 1)

TF-IDF得分：

TF-IDF(t, d) = TF(t, d) × IDF(t)

工作机制

索引阶段：计算每个文档中每个词的TF-IDF值
查询阶段：计算查询词与文档的相似度得分
排序阶段：根据得分对文档进行排序

优点

简单直观，易于理解和实现
对常见词（如"the"、“is”）进行降权
适用于传统信息检索场景

缺点

无法处理同义词和语义相似性
对文档长度敏感
无法处理词序信息

2. BM25算法

基本原理

BM25（Best Matching 25）是TF-IDF的改进版本，是Elasticsearch默认使用的文本检索算法。它通过引入饱和函数和文档长度归一化来改进TF-IDF的性能。

计算公式

BM25的得分计算公式：

score(d, q) = Σ (IDF(t) × (f(t, d) × (k1 + 1)) / (f(t, d) + k1 × (1 - b + b × (|d| / avgdl))))

其中：

f(t, d)：词t在文档d中的频率
|d|：文档d的长度
avgdl：平均文档长度
k1：控制词频饱和的参数（通常为1.2-2.0）
b：控制文档长度归一化的参数（通常为0.75）

关键改进

饱和函数：防止高频词过度影响得分
文档长度归一化：考虑文档长度对相关性的影响
参数可调：可以通过调整k1和b参数优化搜索效果

优点

对文档长度不敏感
对高频词有更好的控制
在大多数场景下表现优于TF-IDF
Elasticsearch默认使用，无需额外配置

缺点

参数调优相对复杂
对于非常短的查询可能效果不佳

3. 算法对比

特性	TF-IDF	BM25
文档长度敏感性	高	低
高频词处理	简单线性增长	饱和函数控制
参数调优	简单	相对复杂
默认使用	否	是（Elasticsearch）
适用场景	传统信息检索	现代搜索引擎

4. 在Elasticsearch中的使用

默认配置

Elasticsearch默认使用BM25算法：

{
  "settings": {
    "index": {
      "similarity": {
        "default": {
          "type": "BM25"
        }
      }
    }
  }
}

自定义配置

可以调整BM25参数：

{
  "settings": {
    "index": {
      "similarity": {
        "my_bm25": {
          "type": "BM25",
          "k1": 1.5,
          "b": 0.75
        }
      }
    }
  }
}