ES 解决字符串的排序问题以及相关度评分TF&IDF算法

最新推荐文章于 2024-06-12 17:54:07 发布
原创 最新推荐文章于 2024-06-12 17:54:07 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了解决字符串字段排序不准确的问题，通过建立两次索引——一次分词用于搜索，一次不分词用于排序。同时，深入解析了TF-IDF算法，包括TF（词条频率）和IDF（逆文档频率）的概念，以及Field-length norm（字段长度规范化）对相关度评分的影响。

如何将一个field索引俩次来解决字符串的排序问题
如果对一个stringfield进行排序，结果往往不准确，因为分词后是多个单词，再排序就不是我们想要的结果了
通常的解决方案是，将一个string field建立俩次索引，一个分词，用来进行搜索，一个不分词，用来进行排序

相关度评分TF&IDF算法
TF:搜索文本中的各个词条在field文本中出现了多少次，出现次数越多，就越相关
IDF:搜索文本中的各个词条在整个索引的所有文档中出现了多少次，出现的次数越多，就越不相关
Field-length norm：field长度，field长度越长，相关度越弱

深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用
丨汀、的博客
01-08 2924
深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用
数据结构与算法：排序算法的文本挖掘优化
AI 算法实战派
05-26 775
在信息爆炸的今天，文本数据（如社交媒体、新闻、用户评论）占全球数据总量的80%以上。文本挖掘的核心任务是从这些“乱码式”的非结构化数据中提取有价值信息（如关键词、情感倾向、主题）。而排序算法，作为数据处理的“整理师”，在文本挖掘中扮演着关键角色——无论是筛选高频词、排序文档相关性，还是优化推荐系统的用户兴趣列表，都需要排序算法的高效支持。本文将聚焦“排序算法在文本挖掘中的优化”，覆盖基础概念、优化策略、实战案例及未来趋势，帮助开发者掌握“为文本数据定制排序方案”的核心技能。
搜索相关度算法 TF-IDF与BM25
U5years的博客
12-22 975
TF-IDF VS BM25 在ES5.0版本之前，ES一直用的是TF-IDF来进行相关度算分；在5.0后的版本，ES换成了BM25版本。本文将从算法设计的角度，先介绍两个算法，再结合ES来尝试分析一下各自的优缺点。 算法介绍 TF-IDF和BM25都是用作ES中排序依据的核心部分，它们是组成Lucene中“field weight”的部分，“field weight”用来评测的是search t...
如何基于 Elasticsearch 实现排序沉底或前置
字节跳动云原生计算官方账号
06-12 1399
通过以上介绍我们可以了解到 ES 可支持的排序能力还是非常丰富的，我们要实现置顶或沉底效果，并不能非黑即白的选择，更多的场景中需要根据实际需要做多个能力的组合，尽管 function_score 表现优异，但越复杂的查询对 ES 的查询压力也越大，当数据量很大时必须要权衡性能和排序效果。上线前，也需要在仿真环境中验证大数据量下的性能表现。
Sequelize 排序问题：将字符串类型字段转数字类型后进行排序
rushichunqiu的博客
08-12 1845
问题出现场景： 目前使用egg框架进行后端业务开发，使用sequlize这个ORM进行数据库的操作；今天，遇到一个需求，要按照一个被数据库定义为VARCHAR的字段code，按照降序进行排列。 // 原始数据 仅展示 code 字段 ['999', '2', '11', '23', '300', '856', '7869', '66', '88', '1234444', '3333'] // 理想结果 res -> ['1234444', '7869', '3333', '999',
ES:字符串排序,字符串按照数字排序
zhuchunyan_aijia的博客
03-11 2910
对一个字符串类型的字段进行排序通常不准确，因为已经被分词成多个词条了字段虽然是字符串,但是其实值是整数, 排序按照字符串转成整数排序解决方式：对字段索引两次，一次索引分词（用于搜索），一次索引不分词（用于排序）
ElasticSearch之排序使用-ES常用排序方法
进击30K的专栏
09-11 8522
ElasticSearch之排序使用-ES常用排序方法 在搜索系统中，最常遇到的一个需求就是排序，同时排序也是搜索引擎需要改造最多的地方。 常见排序一般有如下两类： （1）按照相似度匹配得分排序 （2）按照指定字段排序 相似度得分排序是系统默认的排序方式，更多时候，我们需要按照指定字段排序。lucene中，基于字段内容的排序是由FieldComparator接口来实现的，在排序中又分为单字段排序和多字段排序。在排序速度方面，数值类型排序速度最快，在lucene中数值...
Elasticsearch相似度算分TF-IDF BM25（标贝科技）
DataBaker的博客
03-29 2684
控制相关度 处理结构化数据（比如：时间、数字、字符串、枚举）的数据库，只需检查文档（或关系数据库里的行）是否与查询匹配。 布尔的是/非匹配是全文搜索的基础，但不止如此，我们还要知道每个文档与查询的相关度，在全文搜索引擎中不仅需要找到匹配的文档，还需根据它们相关度的高低进行排序。 全文相关的公式或 相似算法（similarity algorithms） 会将多个因素合并起来，为每个文档生成一个相关度评分 _score 。这里，我们会验证各种可变部分，然后讨论如何来控制它们。 当然，相关度不只与全文查询有关，也
ElasticSearch的评分机制详解
qq_29860591的博客
11-02 2309
1． 评分机制详解 1.1． 评分机制 TF\IDF 1.1.1 算法介绍 relevance score算法，简单来说，就是计算出，一个索引中的文本，与搜索文本，他们之间的关联匹配程度。 Elasticsearch使用的是 term frequency/inverse document frequency算法，简称为TF/IDF算法。TF词频(Term Frequency)，IDF逆向...
ES 排序相关性
mezheng的专栏
02-28 1608
默认情况下，返回的结果是按照 相关性 进行排序的——最相关的文档排在最前。 1.按照字段的值排序 在这个案例中，通过时间来对 tweets 进行排序是有意义的，最新的 tweets 排在最前。 我们可以使用 sort 参数进行实现： GET /_search { "query" : { "bool" : { "filter" : { "term" : { "user_id" : 1 }} } }, "sort": { "da...
Elasticsearch(039)：es中搜索之排序
瘦子没有夏天
02-22 7666
一、概述 默认情况下，结果集会按照相关性进行排序 – 相关性越高，排名越靠前。为了使结果可以按照相关性进行排序，我们需要一个相关性的值。在ElasticSearch的查询结果中， 相关性分值会用_score字段来给出一个浮点型的数值，所以默认情况下，结果集以_score进行倒序排列. 二、Es中排序使用 2.1 简单排序 例如下面的按照创建时间的倒序排序。 GET example/docs/_search { "query": { "match_all": {} }, "sort": [
#研发解决方案介绍#基于ES的搜索+筛选+排序解决方案
weixin_33881050的博客
12-12 704
郑昀 基于胡耀华和王超的设计文档 最后更新于2014/12/3 关键词：ElasticSearch、Lucene、solr、搜索、facet、高可用、可伸缩、mongodb、SearchHub、商品中心 本文档适用人员：研发和运维 提纲： 曾经的基于MongoDB的筛选+排序解决方案 MongoDB方案的缺陷 看中了搜索引擎的facet特性 看中了ES的简...
字符串，数字，字符转化
nahnah_的博客
03-31 1006
stringstream 初见 isalpha 字母 isalnum 数字或者字母 islower isupper 数字转字符串 to_string 字符串转数字stoi
使用ES实现一个基数排序
渣渣飞的博客
06-25 357
基数排序（radix sort）属于“分配式排序”（distribution sort），又称“桶子法”（bucket sort）或bin sort，顾名思义，它是透过键值的部份资讯，将要排序的元素分配至某些“桶”中，藉以达到排序的作用，基数排序法是属于稳定性的排序，其时间复杂度为O (nlog®m)，其中r为所采取的基数，而m为堆数，在某些时候，基数排序法的效率高于其它的稳定性排序法。百度百科 ...
解决Elasticsearch按_id排序无法获取最大值
HardRedStone的博客
08-25 8376
最近做区块链浏览器，我把blockNumber作为了elasticsearch的文档_id，需要做一个查询操作，换成mysql查询就是 SELECT MAX(`_id`) FROM `block`; 对应的Kibana中的查询 GET /block/_search { "query": { "bool": { "must": [ {"match": { "transactionHandled": true }} ..
es建立索引后的排序返回结果_Elasticsearch 索引创建 / 数据检索
weixin_28984379的博客
01-17 522
es 6.0 开始不推荐一个index下多个type的模式，并且会在 7.0 中完全移除。在 6.0 的index下是无法创建多个type的，type带来的字段类型冲突和检索效率下降的问题，导致了type会被移除。(5.x到6.x)_all字段也被舍弃了，使用 copy_to自定义联合字段。(5.x到6.x)type:text/keyword 来决定是否分词，index: true/false决定...
ES 根据字段分割后的数据进行排序
bfy0914的博客
07-25 586
ES根据字段分割后的数据进行排序。
Elasticsearch数据查询排序问题
weixin_43857522的博客
11-16 2433
Elaticsearch 在查询数据会导致数据查询返回顺序不正确 推测原因: 1. es 查询时, 在大数据量下es评分是基于当前分片的词频进行计算, 指定search_type参数设置基于索引的词频进行计算评分. searchtype 类型说明: 1. query then fetch（默认的搜索方式） 基于当前分片 2. DFS query then fetch 基于索引 2. es 查询时, 基于当前查询结果进行重新评分排序 在查询之后调用 rescore , 对查询结果进行重新评分, 此处可
ElasticSearch 搜索排序不理想问题
Mr_Wanter
04-02 2300
ES索引结构如下 ES检索“区块链”，发现根据得分排序后，排在前面的多为“链”的数据 而包含整段词语的结果排序非常靠后。 分析：es一共有7个分片，词语“区块链”在分片的相关性从分片0到分片7依次降低（即分片0存储词语“区块链”相关性最大，分片7相关性最小），如果搜索词语“区块链”需要7个分片的计算； es默认检索得分是按照分片层次计算，不是全局计算的。 解决方案： 1、只搜...
Elasticsearch 的分布式事务如何保证数据一致性？如何设计 Elasticsearch 的映射（Mapping）以实现高效数值范围查询？Elasticsearch 的倒排索引与 B+树索引有何本质区别？BM25 算法相比传统 TF-IDF 有哪些改进？如何通过分片和副本机制实现高可用性？Elasticsearch 的倒排索引如何支持高效的全文检索？
最新发布
08-14
好的，我们来逐一解析 Elasticsearch 的核心机制，包括分布式事务、映射设计、索引结构区别、BM25算法、分片副本以及全文检索支持。 **1. Elasticsearch 分布式事务如何保证数据一致性？** Elasticsearch 本身**不...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值