Elasticsearch分析器与算分详解

最新推荐文章于 2024-07-31 07:57:22 发布
最新推荐文章于 2024-07-31 07:57:22 发布
阅读量605 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 百亿级elasticsearch实践指南 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yonggeit/article/details/128848061
本文详细介绍了Elasticsearch的分析器、相关性算分及其计算模型，包括TF-IDF、IDF的计算方式和自定义算分方法。分析器部分讲解了字符过滤器、分词器和后过滤器的使用，如Standard、Letter、Lowercase等。此外，还探讨了如何通过Constant Score、Negative Boost和Script Score查询来定制相关性评分。最后，文中列举了项目实践，展示了如何在音乐库和菜谱搜索中应用相关性优化，包括停用词、同义词配置以及使用function_score和script_score进行自定义评分。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

⼀、分析器

1.1 概念：

分析器包括：

1. 字符过滤器(CharacterFilters)：⾸先，字符串按顺序通过每个 字符过滤器 。他们的任务是在分词

前整理字符串。⼀个字符过滤器可以⽤来去掉HTML，或者将 & 转化成 and；

2. 分词器(Tokenizer)：字符串被 分词器 分为单个的词条。得到分词，标记每个分词的顺序或位置

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ElasticSearch第十一讲 ES检索评分score以及分数计算逻辑
程序员路同学
04-22 2057
ElasticSearch第十一讲 ES检索评分score以及分数计算逻辑
【Elasticsearch】打分策略详解与explain手把手计算
热门推荐
molong1208的专栏
02-02 3万+
Elasticsearch打分公式的计算，ES的打分与Lucene的不同之处，如何跟explain的计算对照上，手把手教你如何手算explain分数
elasticsearch-查询平分排序
豆豆不在了
02-15 6840
排序与相关性 默认情况下，返回的结果是按照 相关性 进行排序的——最相关的文档排在最前。 在本章的后面部分，我们会解释 相关性 意味着什么以及它是如何计算的， 不过让我们首先看看 sort 参数以及如何使用它。 排序 为了按照相关性来排序，需要将相关性表示为一个数值。在 Elasticsearch 中， 相关性得分 由一个浮点数进行表示，并在搜索结果中通过 _scor
ElasticSearch的评分计算
Rao的博客
07-29 1015
ElasticSearch 搜素时会带有一个 _score 的数据，表示搜索出来的结果与参数之间的相关性 本文内容 ElasticSearch 的三大评分原则 ElasticSearch 了解为什么这样评分 ElasticSearch 的文本评判基础算法 ElasticSearch 的评分原则 检索词频率 该词出现的频率越大，评分越高 反向文档频率 该词如果在该索引(表)中出现的频率很高，评分会随之降低 也就是说，假如索引一共有 10 个数据，9个都含有 hello ，评分会降低 字段.
ElasticSearch 评分排序
dengzai7446的博客
02-23 1103
背景 通过脚本改变评分 背景 近期有一个需求，需要对优惠券可用商品列表加个排序，只针对面值类的券不包括折扣券。 需求是这样的，假设有一张面值券 50 块钱，可用商品列表 A 100、B 40、C 10，当用户查询当前券可用商品列表的时候优先将卡券可以直接抵扣且不需要用户在额外支付的商品排在前面。 C 10 B 40 A 100 其实排序有很多侧重，比如： 1.根据用户利益最大化...
Elasticsearch：对搜索结果排序 - Sort
Elastic 中国社区官方博客
06-29 7729
​ 我们知道在默认的情况下，搜索的结果是按照相关性来进行排序的。分数最高的排在前面，而分数低的向后依次排序。在绝大多数的情况下，这种排序是非常有效的，而且也适用我们的很多用例。即便针对分数，我们也可以对搜索的结果进行定制。关于这个分数是如何及算出来的，你可以参考我之前的文章 “Elasticsearch：使用 Elasticsearch 提高网站搜索查询的相关性”。我们也可以使用一下方法来定制我们的分数。你可以阅读如下的文章： ​.........
Elasticsearch——分析器Analyzer与分析接口Analyze API详解
最新发布
smart_an的专栏
07-31 1088
当内置分析器不能满足您的需求时，可以创建一个custom分析器。零个或多个字符过滤器一个 分析器零个或多个token过滤器。tokenizer：内置或定制的分词器：可选的内置或定制字符过滤器列表filter：可选的内置或定制token过滤器列表：在索引文本值数组时，Elasticsearch会在一个值的最后一个值和下一个值的第一个项之间插入假的“间隙”，以确保短语查询与不同数组元素的两个术语不匹配。默认为100.字符过滤器分词器Token 分析器],//返回的词项。
elasticsearch的分析器与tokenizer详解
#### 1.2 分析器与tokenizer在elasticsearch中的重要性 在Elasticsearch中，分析器和tokenizer扮演着至关重要的角色。分析器负责将文本进行分词、转换成小写等操作，从而建立倒排索引；而tokenizer则负责对文本进行...
Elasticsearch-分析器详解
大白能的博客
12-09 683
前言 本文基于elasticsearch7.3.0版本 本文内容包括: 分析器-索引时分析 分析器-查询时分析 分析器组成 测试分析器 elasticsearch内置分析器 自定义分析器
elasticsearch7.17.11版本分词器插件安装包
11-13
**Elasticsearch 7.17.11 分词器插件详解** Elasticsearch（简称ES）是一款基于Lucene的分布式、RESTful搜索引擎，广泛应用于日志收集、数据分析等领域，是ELK（Elasticsearch、Logstash、Kibana）堆栈的重要组成...
ElasticSearch 的分数 (_score) 是怎么计算得出 (2.X & 5.X)
alex的博客
03-03 2万+
ElasticSearch 的分数 (_score) 是怎么计算得出
elasticsearch sort评分
热爱互联网，加油
08-08 5866
根据项目需求需要对搜索词进行IK分词后，然后按照是否可售卖>是否推荐>发布日期进行排序，如下所示 BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery(); boolQueryBuilder.must(QueryBuilders.multiMatchQuery("酒店","主标题","副标题")); SearchRequestBu
elasticsearch function_score 频道页排序
tangpengtao的专栏
07-01 501
1:项目背景 app的频道页面需要针对内容做分发优化，让一些优质的内容得到更多的曝光。频道页涉及一定的定向性(同一个频道页只能出现该类目的内容)，并且每一个频道页的体量不是很大。思前想后不建议通过推荐系统做内容过滤，再去做分发。 2：那我们应该怎么做 之前对elasticsearch funciton_score 有一定的了解，但是不是很深入(阮一鸣大佬的es分享)。查找了相关文档可以通过function_score传入groovy脚本，动态打分。于是在集群上测试相关函数，并且与产...
ElasticSearch探索之路（二）权重计算与文本分析：布尔模型、TF/IDF、向量空间模型、分析与分析器
凌桓丶的博客
08-09 1410
ElasticSearch的权重计算与文本分析原理
elasticsearch relevance score相关性评分的计算
gmHappy
08-30 6932
一、多shard场景下relevance score不准确问题     1、问题描述：  多个shard下，如果每个shard包含指定搜索条件的document数量不均匀的情况下，会导致在某个shard上document数量少的时候，计算该指定搜索条件的document的相关性评分要虚高。导致该document比实际真正想要返回的document的评分要高。     2、解决 （1）生产环...
ES先根据分数排序，一样分数则按其他字段更新时间排序
Heikepengmu的博客
12-02 1671
elasticsearch 查询排序 调用 SearchSourceBuilder.sort方法。
ElasticSearch 实战：查询Sort（查询排序）
qq_33240556的博客
04-08 3444
Elasticsearch的查询排序功能强大且灵活，支持对各类字段进行升序或降序排列，可结合多字段排序、复杂排序选项（如地理位置、文本相关性等）、排序模式以及缺失值处理策略，以满足各种业务场景的需求。在实际应用中，应根据查询目的和数据特性选择合适的排序方式，以提高用户体验和查询结果的相关性。同时，要注意排序操作可能影响查询性能，特别是在大规模数据集上对高基数字段进行排序时，可能需要结合索引优化、查询缓存等策略进行性能调优。
Elasticsearch——查询结果排序
qq_37107851的博客
10-11 3363
允许我们在特定字段上添加一个或多个排序。每种分类也可以颠倒。排序是在每个字段级别定义的，具有特殊的字段名，用于_score按分数排序，以及_doc按索引顺序排序。 假设以下索引映射： PUT /my-index-000001 { "mappings": { "properties": { "post_date": { "type": "date" }, "user": { "type": "keyword" }, "name"
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

少林码僧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值