elasticsearch——精确匹配大字段wildcard性能慢问题

最新推荐文章于 2024-11-07 17:57:33 发布
最新推荐文章于 2024-11-07 17:57:33 发布
阅读量1w 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： ES
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_26915707/article/details/95590668
博客讲述了分词与查询性能问题及解决办法。起初使用逗号分词+wildcard、keyword字段32766+wildcard，性能都很慢。后发现是wildcard问题，采用match_phrase+standard分词实现精确匹配且效率提高；对于小字段英文、数字的wildcard查询，可用ngram分词器，但字段大时不建议用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

经历

1.使用逗号分词+wildcard，发现性能很慢

2.将内容截断，keyword字段32766+wildcard，发现性能仍然很慢

解决

a.发现是wildcard的问题，但是想实现部分精确匹配，最后使用match_phrase+standard分词，基本能实现精确匹配，而且效率显著提高

参考：http://www.luyixian.cn/news_show_4930.aspx   5.1条

 

b.如果字段很小，并且需要英文，数字的wildcard查询，可以使用ngram分词器，能实现wildcard同样的效果，但是会占用内存，字段太大的建议不使用

Elasticsearch集群故障案例分析：谨慎使用通配符查询Wildcard在大数据环境中
TechWhiz的博客
08-20 252
使用其他查询方式：考虑使用其他更高效的查询方式，如前缀查询（Prefix Query）、模糊查询（Fuzzy Query）或正则表达式查询（Regexp Query）。使用其他查询方式：考虑使用其他更高效的查询方式，如前缀查询（Prefix Query）、模糊查询（Fuzzy Query）或正则表达式查询（Regexp Query）。预先计算查询结果：如果通配符查询的模式是固定的或有限的，可以在索引阶段预先计算查询结果，并将结果存储在索引中。限制查询范围：尽量缩小通配符查询的范围，避免对整个索引进行匹配。
Elasticsearch索引wildcard查询
最新发布
WannaRunning的博客
06-13 272
在之前的文章中介绍过关于索引中字段查询的多种方式。可以根据需要通过设置索引字段的type以及fields来实现分词，精确匹配等多种方式的查询。elasticSearch中检索核心类型大概可以分为：精准匹配检索（Term-level queries）和基于分词的全文匹配检索（Full text queries）。其中精确匹配检索又包括大家熟知的Term查询以及Terms查询，还包括本文要介绍的模糊匹配（wildcard查询）。
【Elasticsearch系列】elasticsearch wildcard 慢查询原因分析(深入到源码!!!)
我活在当下，我巨他妈勇敢。
09-05 1155
大家好，我是蓝胖子，前段时间线上elasticsearch集群遇到多次wildcard产生的性能问题， elasticsearch wildcard 一直是容易引发elasticsearch 容易宕机的一个风险点， 但究竟它为何消耗cpu呢？又该如何理解elasticsearch profile api的返回结果呢？在探索了部分源码后，我将在这篇文章一一揭晓答案。
为什么Elasticsearch查询变得这么慢了？
铭毅天下Elasticsearch
10-14 3万+
0、引言 Elasticsearch社区中经常看到慢查询问题：“你能帮我看看Elasticsearch的响应时间吗？”或者是：“我的ES查询耗时很长，我该怎么做？” 包含但不限于：Nested慢查询、集群查询慢、range查询慢等问题。 1、两个维度 每当我们得到这些类型的问题时，我们首先要深入研究两个主要方面： 配置维度 - 查看当前系统资源和默认Elasticsearch选项。 开发维度 ...
es基于ik分词器“长”关键字wildcard匹配不到数据
子涵先生
09-24 3679
文章目录问题描述问题分析mapping分词器设置分析猜想修改属性配置总结 问题描述 用一句话总结问题便是：使用ik分词器，“长”关键字wildcard搜索不到数据。最终解决方法是没有再使用ik分词器匹配，如有朋友们有更好的方案，欢迎留下您的脚印????????。 POST /lpm-company-dev/_search { "query":{ "bool" : { "must" : [ { "bool" : { "shou
ES使用Ngram分词器实现wildcard高性能替代方案
一个人的人生
05-03 5939
## 3.1 Ngram定义 Ngram是一种基于统计语言模型的算法。 Ngram的基本思想：是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。 该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。
Elasticsearch——Keyword字段类型
qq_37107851的博客
08-25 6309
keyword family包括以下字段类型： keyword，用于结构化内容，如ID、电子邮件地址、主机名、状态码、邮政编码或标记。 constant_keyword始终包含相同值的keyword字段。 wildcard非结构化machine-generated内容，wildcard类型针对具有大值或高基数的字段进行了优化。 keyword字段通常用于排序(sorting)、聚合(aggregations)和term-level查询，例如term。 避免使用keyword字段进行全文搜索(...
Elasticsearch——搜索API详解
smart_an的专栏
07-29 1499
场景：例如想要搜索博客信息，搜索的关键字是java，但是我们希望能够将评分较高的博客优先展示出来。但是默认的评分策略是没有办法考虑到评分的，他只是考虑相关性，这个时候可以通过 function_score query 来实现。PUT /blog"title": {},"votes": {"title": "Java集合详解","title": "Java多线程详解，Java锁详解","query": {"match": {默认情况，votes为10的评分更高。
Elastic Search学习三——基本操作（API）
qq_17153885的博客
03-06 1263
Elasticsearch的REST API提供了一种使用HTTP协议进行与Elasticsearch交互的方式。通过发送HTTP请求并解析响应，可以执行各种操作，包括索引管理、文档操作、搜索和聚合、集群管理等。​‍这里先学习API接口，实现各种功能，对此有初步了解。后续章节介绍Java项目中，集成Elasticsearch，基于客户端（client）实现各种功能搜索及数据管理（基于Java语言对上述接口的实现）。‍‍
大数据入门学习（2）——Elasticsearch学习
qq_45791540的博客
11-07 1038
在 Maven 项目的 pom.xml 文件中， 元素用于定义当前项目的父项目。这是一种继承机制，允许子项目继承父项目的某些配置，如依赖管理、插件配置等。父项目的 pom.xml 文件中定义的所有属性、依赖关系、插件配置等都会被子项目继承，除非子项目中明确覆盖了这些配置。：这是父项目的组织标识符，通常对应于项目的域名反写，比如 com.atguigu 可能表示 AtGuigu 公司的项目。Elaticsearch，简称为 ES，ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 Elastic。
精确匹配，例如 term、exists、term set、 range、prefix、 ids、 wildcard、regexp、 fuzzy等。
02-09
### Elasticsearch 中不同类型查询及其用法 #### 精确匹配查询类型 ##### Term 查询 `Term` 查询用于精确查找文档中的特定术语。此操作不经过分析器处理，因此非常适合用于结构化数据字段。 ```json GET /_search...
Elasticsearch 模糊查询 wildcard、regexp、prefix选型
热门推荐
布道
03-07 3万+
之前讲过Elasticsearch 的wildcard（通配符查询）、regexp（正则查询）、prefix（前缀查询），他们都是致力于模糊搜索，然后在实际的项目中该如何选择，稍不注意就可能到很大性能问题。 使用方式这里就不再赘述了，他们都是基于词条查询，它们也需要遍历倒排索引中的词条列表来找到所有的匹配词条，然后逐个词条地收集对应的文档ID。 针对Numeric datatypes（long...
Elasticsearch：wildcard - 通配符搜索
Elastic 中国社区官方博客
09-01 3223
详细描述 Elasticsearch 中的通配符 wildcard 搜索。Elasticsearch 是一个分布式、免费和开放的搜索和分析引擎，适用于所有类型的数据，例如文本、数字、地理空间、结构化和非结构化数据。 它基于 Apache Lucene 构建，Apache Lucene 是一个全文搜索引擎，可用于各种编程语言。 由于其速度、可扩展性以及对不同类型内容进行索引的能力，Elasticsearch 已在多种用例中得到应用。
如何解决 Elasticsearch 查询缓慢的问题以获得更好的用户体验
Elastic 中国社区官方博客
08-08 3470
Elasticsearch Service 用户的重要注意事项：目前，本文中描述的 Kibana 设置更改仅限于 Cloud 控制台，如果没有我们支持团队的手动干预，则无法进行配置。我们的工程团队正在努力消除对这些设置的限制，以便我们的所有用户都可以启用内部 APM。本地部署不受此问题的影响。对于任何使用 Elasticsearch 作为搜索引擎的人来说，识别查询并排除查询故障是一项需要掌握的关键技能。
【Elasticsearch】 es ElasticSearch集群故障案例分析: 警惕通配符查询 Wildcard
九师兄
05-17 1967
1.概述 转载：https://elasticsearch.cn/article/171 许多有RDBMS/SQL背景的开发者，在初次踏入ElasticSearch世界的时候，很容易就想到使用(Wildcard Query)来实现模糊查询（比如用户输入补全)，因为这是和SQL里like操作最相似的查询方式，用起来感觉非常舒适。然而近期我们线上一个搜索集群的故障揭示了，滥用wildcard query可能带来灾难性的后果。 故障经过 线上有一个10来台机器组成的集群，用于某个产品线的产品搜索。数据量并不大，.
角度刁钻的慢查询优化
lanicc's blog
08-15 199
用户输入的是中文字符，肯定不可能匹配手机号和微信号，这里就可以通过简单判断下用户的输入特征，优化查询。不包含中文，包含字母，下划线等时，搜索微信号。下面的语法格式，转为es搜索，会使用。只有数字是，搜索手机号和微信号…发现一个业务的es慢查询。包含中文时，搜索姓名。
记一次线上es慢查询导致的服务不可用
lujia_loney的博客
02-27 2348
查询交互设计不合理，报错的es索引，在es库是一个数据量很大的索引，这病频繁请求会导致cpu和频繁的gc后端接口么有校验，导致用户复制输入错误信息，也会去做查询操作，未做查询条件的过滤。
Elasticsearch：高级调优 - 查找和修复慢速 Elasticsearch 查询
Elastic 中国社区官方博客
11-30 3197
Elasticsearch 是一个非常灵活且功能丰富的应用程序，它提供了许多不同的方式来查询你的数据。 但是你是否曾经遇到过低于你希望的查询速度？ 对于像 Elasticsearch 这样的分布式系统，可能有各种影响查询性能的因素，包括外部因素，例如负载均衡器设置、网络延迟（带宽、NIC 卡/驱动程序）等。 在本博客中，我将讨论导致查询缓慢的原因以及如何在 Elasticsearch 的上下文中识别它们。 本文源于我们一些常见的故障排除方法，这些方法可能需要人们对 Elasticsearch 的工作原理相
ES变慢原因分析
Felix_阳的博客
12-29 7792
0、引言 Elasticsearch社区中经常看到慢查询问题：“你能帮我看看Elasticsearch的响应时间吗？”或者是：“我的ES查询耗时很长，我该怎么做？” 包含但不限于：Nested慢查询、集群查询慢、range查询慢等问题。 在这里插入图片描述 1、两个维度 每当我们得到这些类型的问题时，我们首先要深入研究两个主要方面：     配置维度 - 查看当前系统资源和默认Elasti...
elasticsearch wildcard字段类型搜索性能
04-08
通常情况下，使用通配符搜索（例如使用 * 或 ?）会导致搜索性能下降，因为它需要遍历更多的文档来找到匹配项。为了提高搜索性能，我们可以使用前缀查询（Prefix Query）或者正则表达式查询（Regexp Query）来代替通配符查询。同时，也可以考虑使用更高效的搜索引擎，例如使用 Elasticsearch 的全文搜索引擎来提高搜索性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值