为什么Elasticsearch查询变得这么慢了？

最新推荐文章于 2024-12-23 10:57:03 发布

Aquilian

最新推荐文章于 2024-12-23 10:57:03 发布

阅读量1k

点赞数

分类专栏： Elasticsearch

本文链接：https://blog.youkuaiyun.com/ahwsk/article/details/104657348

版权

Elasticsearch 专栏收录该内容

7 篇文章

订阅专栏

看到一篇分析文章，很不错，遇到同样问题的小伙伴可以阅读下，或许有所收货，下面是文章链接：

点击阅读

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Aquilian

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【Elasticsearch】es 各种日志慢日志慢查询

九师兄

10-21

5071

文章目录1.概述1.1 Elasticsearch日志列表1.2 日志级别1.3 日志格式2.慢日志2.2 慢日志全局级别设定3.根治慢查询3.1 慢查询六大症状3.1.1 症状1：非活动（检索/写入）状态资源利用率也非常高3.1.2 症状2：线程池存在大量rejected3.1.3 症状3：高CPU和索引化延迟3.1.4 症状4：副本增加后延时增大3.1.5 症状5：共享硬件资源时的高资源利用率。3.1.6 症状6：聚合N多唯一值引起的高内存使用率M.扩展阅读 1.概述日志存储路径：运行日志：

elasticsearch下载太慢在国内, 我把包放到了云盘上,还有kibana.有需要自取,持续更新版本

01-07

国内下载elasticsearch哪叫一个慢, 为了方便大家学习, 博主将下载好的包放到云盘. 官网下载地址:https://www.elastic.co/cn/downloads/elasticsearch 要验证包的完整性可以计算文件哈希值(官网有提供sha512的值, 可以在上面下载地址界面的找到) ps: 在linux上要计算sha512的值, 命令: sha512sum 文件名(只能对单个文件, 多个文件的话就打成一个包啊) 目前支持的文件列表:(后续有时间还会持续更新) 版本 Linux window 发布时间 7.5.0 https://pan.baidu.com/s

参与评论您还未登录，请先登录后发表或查看评论

Elasticsearch慢查询日志配置

热门推荐

donghaixiaolongwang的博客

01-31

2万+

参看网址：https://www.elastic.co/guide/en/elasticsearch/reference/2.3/index-modules-slowlog.html 1、通过修改elasticsearch.yml来启用慢查询： vim elasticsearch.yml ###Search Slow Log ：查询慢日志配置，日志记录在以“_index_isearc

elasticsearch集群慢查询调优求援

qq_42557970的博客

08-23

867

elasticsearch集群慢查询调优求援

聚合查询越来越慢？——详解Elasticsearch的Global Ordinals与High Cardinality

茅庐

10-22

1万+

本文结合笔者在实践过程中遇到的由High Cardinality引起Global Ordinals构建过慢，从而导致聚合查询变慢的问题，阐述了Elasticsearch中两个核心概念：Global Ordinals和High Cardinality。

Elasticsearch为什么快？

qq_35789269的博客

02-09

1675

左侧是MySql安装文件的data目录，右侧使我们使用数据库客户端打开数据库后的样式，左侧文件分别对应了右侧数据库中的数据库名，我们以“mysql”这个数据库为例，文件夹中每个文件都有若干个不同后缀的同名文件，分别对应右侧某个数据表，不同的后缀代表不同的数据类型，其中.frm文件代表当前文件存储的是数据表的表结构，.MYD和.MYI文件则代表了当前文件是myisam存储引擎下的数据文件和索引文件，.ibd则代表当前文件是innodb存储引擎下的索引文件，只不过innodb的数据和索引使用了同一个文件。

条件字段有索引，为什么查询也这么慢?

白小纯的博客

05-29

1314

前言大家都知道索引可以提高查询速度，但是有些时候会发现，有了索引反而查询变得比之前还慢了，甚至索引没起作用，那到底是因为什么，这篇文章就带着大家了解其中的原因下面会讲解几种有索引但是查询不走索引导致查询慢的场景。函数操作＠查询数据时，可能很多时候会借助一些函数实现查询。有时可能我们关注的重心在是否能查出结果，往往忽略了查询的效率。现在就一起研究对条件索引字段做函数操作，是否能用到索引？ ...

ElasticSearch高级查询Query DSL

qq_45061342的博客

09-28

1131

ES中提供了一种强大的检索数据方式，这种检索方式称之为Query DSL（Domain Specified Language 领域专用语言） , Query DSL是利用Rest API传递JSON格式的请求体(RequestBody)数据与ES进行交互，这种方式的丰富查询语法让ES检索变得更强大，更简洁。

elasticsearch下载太慢_Elasticsearch的下载与安装

weixin_39610366的博客

11-30

1076

Elasticsearch是一个基于Lucene库的搜索引擎。它提供了一个分布式、支持多租户的全文搜索引擎，具有HTTP Web接口和无模式JSON文档。本文记录一下下载和安装中遇到的问题。1. 下载官网下载速度太慢，有两种方法通过镜像下载第一种：先在下面网站找到要下载的文件https://elasticsearch.cn/download/然后在下面的链接拼上文件名即可https://elast...

如何解决 Elasticsearch 查询缓慢的问题以获得更好的用户体验

Elastic 中国社区官方博客

08-08

3398

Elasticsearch Service 用户的重要注意事项：目前，本文中描述的 Kibana 设置更改仅限于 Cloud 控制台，如果没有我们支持团队的手动干预，则无法进行配置。我们的工程团队正在努力消除对这些设置的限制，以便我们的所有用户都可以启用内部 APM。本地部署不受此问题的影响。对于任何使用 Elasticsearch 作为搜索引擎的人来说，识别查询并排除查询故障是一项需要掌握的关键技能。

Elasticsearch下载慢怎么办？

RedLitchi is Blog

06-22

2398

0)场景 Elasticsearch下载的时候特别慢，有个时候下载其他的特别慢也可以这么解决(例如：Eclipse等等) 1)解决办法举例(下载Elasticsearch) a)安装Motrix,地址https://motrix.app/zh-CN/ b)打开如下网址(Elasticsearch所有版本下载地址) https://www.elastic.co/cn/downloads/past-releases#elasticsearch c) 选择一个版本，例如我要下载7.7.1，然后按F12在网页源码

elasticsearch下载太慢在国内, 我把包放到了云盘上,还有kibana,logstash.有需要自取,持续更新版本

超级大蚂蚁

09-08

246

转：https://blog.csdn.net/weixin_37281289/article/details/101483434

管网的资源如Elasticsearch下载慢怎么办？

qq_31387691的博客

08-17

500

0)场景 Elasticsearch下载的时候特别慢，有个时候下载其他的特别慢也可以这么解决(例如：Eclipse等等) 1 1)解决办法举例(下载Elasticsearch) a)安装Motrix,地址https://motrix.app/zh-CN/ b)打开如下网址(Elasticsearch所有版本下载地址)https://www.elastic.co/cn/downloads/past-releases#elasticsearch c) 选择一个版本，例如我要下载7.7.1，然后按.

MacOS下载Elasticsearch过慢的解决办法

zycode1561的博客

02-21

1136

MacOS下载Elasticsearch过慢的解决办法今天想要学习ES，但是配置环境真是让人糟心，下载真的是慢，Homebrew，官网下载都非常慢，配置了镜像，用了代理都不行，不知道为什么，然后在网上找的大神的百度云也只有win和linux版的，糟心。最后抱着试一试的心态在docker上搜索了ES（docker先配置镜像），下载速度竟然有3m/s，最后直接在docker上运行ES，完美解决！下...

elasticsearch 数据库查询很慢如何优化

qq_44534541的博客

12-23

1661

通过以上优化步骤，你可以显著提升 Elasticsearch 的查询性能。硬件优化：增加内存、使用 SSD、优化文件系统缓存。索引优化：合理设置分片和副本、调整刷新间隔、优化分片分配。查询优化：优化查询语句、使用过滤器、启用缓存、避免深分页。集群配置优化：调整线程池、启用 G1GC、设置查询限流。监控和调优：使用 Kibana 监控、启用慢查询日志。

Elasticsearch查询性能下降的原因及优化方法

ByteCodN的博客

09-23

786

当Elasticsearch查询变得缓慢时，我们应该考虑数据量增加、查询复杂度增加、索引过多以及硬件性能不足等因素。通过垂直扩展和水平扩展硬件资源、优化查询、合并索引、删除不必要的索引以及增加硬件资源等方法，我们可以改善Elasticsearch的查询性能，提高系统的响应速度。Elasticsearch是一个开源的分布式搜索和分析引擎，广泛应用于实时数据分析、日志处理和全文搜索等领域。本文将探讨造成查询性能下降的常见原因，并提供一些优化方法。

java 折线毛刺_聊聊 Elasticsearch 的查询毛刺

weixin_35900818的博客

02-26

368

如果业务对查询延迟很敏感，Elasticsearch 查询延迟中的毛刺现象就是比较困扰的一类问题，由于出现毛刺的时间点已经过去，无法稳定复现，对于根因的分析比较困难，无法用系统化调试的思想，从现象出发逐步推理，定位问题，能做的通常就是看一下监控系统对应时间点的指标情况，而在 es 中，导致查询延迟发生波动的因素非常多，今天我们来列举一下可能的因素，并尝试用对应的方法来定位和解决他们。通常一个系统中...

为什么Elasticsearch 删除数据慢

最新发布

04-08

<think>好的，我现在需要帮用户分析Elasticsearch删除数据性能低的原因以及优化方法。首先，我得回忆一下Elasticsearch的基本机制。删除数据在ES中通常有几种方式，比如删除单个文档、按查询删除或者删除整个索引。用户提到的是删除大批量数据，尤其是根据时间范围删除旧数据，而索引不是按日期生成的，所以不能直接删整个索引。这种情况下，性能问题可能比较明显。首先，用户的问题可能涉及几个方面：删除操作的底层原理、资源限制、配置问题等。根据引用资料，特别是引用[4]提到删除大量数据时出现超时，响应时间长达一分半。这可能是因为删除操作本身是昂贵的，尤其是在大量小文档的情况下。ES的删除其实是标记删除，真正删除是在段合并时进行的，这会导致额外的I/O和CPU开销。接下来，需要想到ES的删除机制。删除文档时，ES会先标记文档为删除状态，在后续的段合并过程中才会物理删除。这种延迟删除的设计会影响写入性能，尤其是在频繁删除的情况下。另外，如果索引设置不当，比如副本数过高，删除操作需要同步到所有副本，会增加处理时间。然后，用户可能遇到磁盘空间不足的问题。引用[2]和[5]提到索引可能变为只读状态，当磁盘使用超过一定阈值时，ES会自动将索引设为只读，防止进一步写入导致磁盘写满。这时候虽然可以删除数据，但磁盘的高使用率本身会影响性能，尤其是删除操作需要更多的磁盘操作。另外，删除操作如果是按查询进行的，比如使用Delete By Query API，这种操作是逐个文档处理的，效率不高。特别是当查询条件复杂或涉及大量文档时，会导致长时间占用资源，甚至超时。引用[3]提到删除API的使用，可能需要优化查询条件或者分批处理。硬件资源也是一个因素。如果节点资源不足，如CPU、内存或磁盘I/O瓶颈，删除操作会变慢。尤其是在段合并时，高I/O负载会拖慢整个系统的响应速度。现在需要整理这些可能的原因，然后对应到解决办法。比如优化删除策略，使用时间序列索引，避免删除操作；调整段合并策略，减少I/O压力；优化索引设置，如降低副本数；分批删除，控制每次删除的文档数量；调整集群配置，如磁盘水位线；以及硬件升级等。还需要考虑用户的具体场景。用户提到索引不是按日期生成的，所以可能需要其他策略，比如使用别名和滚动索引来管理数据生命周期，而不是直接删除旧数据。这样可以避免频繁的删除操作，转而通过删除整个旧索引来提高效率。可能还需要检查集群状态和节点配置，比如refresh_interval的设置，过短的刷新间隔会导致频繁生成新段，增加合并负担。适当增加刷新间隔可以减少段的数量，提升删除和合并的效率。此外，引用[4]中提到使用滚动查询和批量删除，比如利用scroll API获取文档ID，然后批量删除。这种方法可以避免一次性处理过多数据，减少超时的可能性。不过，这种方法需要自己实现分批处理，可能稍微复杂一些。总结起来，删除性能低的原因主要包括标记删除和段合并的开销、资源不足、配置不当、操作方式低效等。优化方法则围绕调整配置、优化删除策略、硬件升级等方面展开。需要将这些点有条理地组织起来，用用户能理解的语言解释清楚，并引用相关的参考资料来支持建议。</think>### Elasticsearch删除数据性能低的原因及优化方法 #### 一、性能低的主要原因 1. **标记删除机制** Elasticsearch的删除操作实质是标记文档为`逻辑删除`，实际物理删除发生在后续的段合并（Segment Merge）过程中[^3]。频繁删除会导致大量待合并段，增加I/O和CPU负载。 2. **段合并开销** 删除操作会生成新段并触发合并，合并过程需要重新写入磁盘，若索引刷新频率高（默认1秒），会加剧合并频率[^4]。 3. **批量删除效率低** - 使用`Delete By Query`时，ES逐个处理文档，且需同步副本分片[^3]。 - 若删除范围涉及大量小文档（如时间范围删除），单次操作耗时显著增加。 4. **资源限制** - 磁盘I/O瓶颈：段合并和删除操作需频繁读写磁盘，机械硬盘性能差时尤为明显[^2]。 - 内存不足：合并段需要内存缓冲，内存不足会降低处理速度。 - 集群负载高：若节点CPU或磁盘已满载，删除操作会排队等待。 5. **索引只读状态** 当磁盘使用超过水位线（默认95%）时，ES自动将索引设为`read_only_allow_delete`，此时删除操作虽允许，但磁盘压力可能导致性能下降[^5]。 --- #### 二、优化方法 1. **优化删除策略** - **改用时间序列索引**：按天/小时生成索引，直接删除整个旧索引（比删除文档快100倍以上）。例如： ```bash curl -XDELETE http://localhost:9200/logs-2023-01-* ``` - **利用滚动索引（Rollover）**：结合别名和生命周期策略自动滚动生成新索引[^1]。 2. **提升删除效率** - **分批删除**：使用`scroll`+`bulk`组合，分批次处理（如每次删除10,000条）： ```python # 伪代码示例 scroll_id = es.search(index="logs", scroll="5m", size=10000, body=query)["_scroll_id"] while has_hits: hits = es.scroll(scroll_id=scroll_id, scroll="5m")["hits"]["hits"] bulk_operations = [{"delete": {"_id": hit["_id"]}} for hit in hits] es.bulk(index="logs", body=bulk_operations) ``` - **调整`refresh_interval`**：临时关闭刷新或延长间隔（如`30s`），减少段生成频率： ```bash curl -XPUT "localhost:9200/logs/_settings" -H 'Content-Type: application/json' -d' {"index": {"refresh_interval": "30s"}}' ``` 3. **配置调优** - **降低副本数**：删除前临时设置`number_of_replicas=0`，减少副本同步开销： ```bash curl -XPUT "localhost:9200/logs/_settings" -H 'Content-Type: application/json' -d' {"index": {"number_of_replicas": 0}}' ``` - **调整段合并策略**：限制合并线程数或合并速度，避免资源争抢： ```bash curl -XPUT "localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d' {"persistent": {"indices.store.throttle.max_bytes_per_sec": "50mb"}}' ``` 4. **硬件与集群优化** - 使用SSD提升磁盘I/O性能。 - 增加节点内存，确保`JVM堆内存`不低于物理内存的50%。 - 监控磁盘水位线，保持使用率低于`85%`（通过`cluster.routing.allocation.disk.watermark.low`调整）。 --- #### 三、操作注意事项 - **优先删除索引**：若数据按时间分布，尽量通过删除旧索引替代删除文档。 - **避免高峰操作**：删除期间可能阻塞查询，建议在低峰期执行。 - **监控任务进度**：使用`_tasks`API跟踪删除任务状态： ```bash curl -XGET "localhost:9200/_tasks?detailed=true&actions=*/delete/byquery" ``` ---