本文深入探讨了搜索引擎 Elasticsearch (ES) 中的相关性算分机制，从相关性的重要性到实际的计算方法。首先介绍了相关性和算分的概念，强调其在排序中的关键作用。接着，详细讲解了词频(TF)及其在搜索中的应用，同时提到了停用词(Stop Word)的影响。随后，文章涉及逆文档频率(IDF)和TF-IDF的概念，以及Lucene中的具体实现。还讨论了后来默认采用的BM25算法，并提及了如何通过Explain API来查看TF-IDF的计算过程。最后，文章指出可以通过定制Similarity来优化相关性，并提到了Boosting Relevance在提升搜索结果相关性方面的作用。
1、相关性和相关性算分
● 相关性 – Relevance
● 搜索的相关性算分，描述了⼀个⽂档和查询语句匹配的程度。ES 会对每个匹配查询条件的结
果进⾏算分 _score
● 打分的本质是排序，需要把最符合⽤户需求的⽂档排在前⾯。ES 5 之前，默认的相关性算分采⽤ TF-IDF，现在采⽤ BM 25
2、词频 TF
● Term Frequency：检索词在⼀篇⽂档中出现的频率
● 检索词出现的次数除以⽂档的总字数
● 度量⼀条查询和结果⽂档相关性的简单⽅法：简单将搜索中每⼀个 词的 TF 进⾏相加
● TF(区块链) + TF(的) + TF(应⽤)
● Stop Word
● “的” 在⽂档中出现了很多次，但是对贡献相关度⼏乎没有⽤处，不应该考虑他们的 TF
3、逆⽂档频率 IDF
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
