记一次Elasticsearch查询性能优化

最新推荐文章于 2025-04-25 16:38:07 发布
最新推荐文章于 2025-04-25 16:38:07 发布
阅读量2.4w 收藏 54
点赞数 8
分类专栏： lucene ES
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/my201110lc/article/details/81712183
版权

 

背景：在数据和服务都准备完成的情况下，打开页面，发现请求需要要几秒才返回；

思路：1.查看搜索接口请求本身耗时情况，排除网络抖动因素，发现搜索接口请求到ES返回结果本身耗时较高；

2.检查每次请求到ES的入参，并在原有参数中加入"profile": true，查看ES处理搜索请求的耗时分布情况；
入参：

返回：

发现只是一个简单的termQuery耗时818ms，然后查看是否ES集群负载情况；
3.初步定位：ES集群的c

最低0.47元/天 解锁文章
【Elasticsearch】ES Elasticsearch查询优化
九师兄
02-23 3030
文章目录1.概述1.前言2 合理的集群规划3 数据模型优化3.1 精心设计Mapping3.2 选择合理的分词器4 查询限制5 段合并（segment merge）6 过滤查询（filter）7 路由（routing）8 配置Client角色9 游标查询（scroll）10 避免使用wildcard模糊匹配查询11 聚合优化11.1 默认深度优化聚合改为广度优先聚合11.2 在每一层terms aggregation内部加一个增加："execution_hint": "map" 1.概述 转载
ElasticSearch性能优化篇
lmj3732018的博客
01-30 5881
对于任何一个系统来讲，性能优化最先优化的应该是架构，如果架构针对业务的应用场景考虑不够全面、不够长远，那么后面能做的优化效果可能不会太理想。
elasticsearch慢查询监控优化策略
qq_28429443的博客
07-23 3549
监控目标 1． 在elasticsearch配置文件上添加慢查询日志和慢索引配置 2． 使用kibana监测elasticsearch慢查询日志的生成，使用logstash抽取日志的方式，有慢查询日志生成，就以邮件告警的方式提醒。 3． 使用zabbix分别监控集群的状态、CPU、进程数、磁盘读写性能、JVM使用。同时还要监控elasticsearch中分片的状态。达到某个临界值，就以...
Elasticsearch 搜索优化
安静的软件工程师
10-27 1087
Elasticsearch 搜索优化
Elasticsearch 超详细（包含简介、下载安装、使用示例等等）不收藏超级亏！！！
最新发布
callback_优快云的博客
04-25 1716
Elasticsearch 是一个基于 Lucene 的分布式搜索和分析引擎，提供实时数据搜索、聚合分析、分布式存储等功能。其设计目标是实现高可用、可扩展、易维护，广泛应用于日志分析、电商搜索、实时监控等场景。Java 作为企业级开发的主流语言，与 Elasticsearch 的集成非常成熟，官方提供了完善的 Java 客户端库。
【ElasticSearch】查询优化
weixin_30553777的博客
05-20 210
一、背景 每周统计接口耗时，发现耗时较长的前几个接口tp5个9都超过了1000ms。 经过分析慢查询的原因是ES查询耗时太长导致的 二、设计方案 1、问题定位 查询功能使用不当导致慢查询 索引设计存在不合理的地方，导致慢查询 2、方案概述 2.1、查询Fetch Source优化 问题 业务查询语句获取的数据集比较大，并且从source中获取了非必须的字段，导致...
Elasticsearch搜索速度的优化
qq_27639777的博客
05-17 1343
文章目录为文件系统cache预留足够的内存使用更快的硬件文档模型预索引数据字段映射避免使用脚本优化日期搜索为只读索引执行force-merge预热全局序号（global ordinals）execution hint预热文件系统cache转换查询表达式调节搜索请求中的batched_reduce_size使用近似聚合深度优先还是广度优先限制搜索请求的分片数利用自适应副本选择（ARS）提升ES响应速度 为文件系统cache预留足够的内存 在一般情况下，应用程序的读写都会被操作系统“cache”（除了direc
【Elasticsearch 性能优化全面指南】
2401_84664550的博客
08-20 1723
在当今数据处理领域，Elasticsearch（简称 ES）因其强大的搜索和分析能力而得到了广泛的应用。无论是构建搜索引擎、进行数据分析，还是实现实时监控，ES 都能发挥重要的作用。然而，随着数据量的不断增长和业务需求的日益复杂，如何优化 ES 的性能以提升系统效率和用户体验成为了一个关键问题。性能优化不仅可以提高查询响应速度，减少资源消耗，还能确保系统在高负载下的稳定性。
Elasticsearch——Elasticsearch性能优化实战
cnzzs的博客
01-25 362
摘要本文主要介绍了 Elasticsearch 性能优化的实战方法，从硬件配置优化、索引优化设置、查询方面优化、数据结构优化以及集群架构设计等五个方面进行了详细阐述，旨在帮助读者提升 Elasticsearch 的性能表现。1. 硬件配置优化升级硬件设备配置一直都是提高服务能力最快速有效的手段，在系统层面能够影响应用性能的...
es查询大文本效率_Elasticsearch 技术分析（七）： Elasticsearch 的性能优化
weixin_39672296的博客
12-20 559
javajava8java开发Elasticsearch 技术分析(七)： Elasticsearch 的性能优化 硬件选择Elasticsearch(后文简称 ES)的基础是 Lucene，所有的索引和文档数据是存储在本地的磁盘中，具体的路径可在 ES 的配置文件../config/elasticsearch.yml中配置，如下：# --------------------...
ElasticSearch性能优化详解
hellozhxy的博客
08-02 2340
为了提高索引性能，Elasticsearch 在写入数据的时候，采用延迟写入的策略，即数据先写到内存中，当超过默认1秒（index.refresh_interval）会进行一次写入操作，就是将内存中 segment 数据刷新到磁盘中，此时我们才能将数据搜索出来，所以这就是为什么 Elasticsearch 提供的是近实时搜索功能，而不是实时搜索功能。_all 字段及 _source 字段的使用，应该注意场景和需要，_all 字段包含了所有的索引字段，方便做全文检索，如果无此需求，可以禁用；
ElasticSearch如何做性能优化?
java1234的博客
12-26 1134
ElasticSearch如何做性能优化?
Elasticsearch的搜索引擎优化与SEO
AI天才研究院
01-21 965
1.背景介绍 Elasticsearch是一个分布式、实时的搜索引擎，它可以处理大量数据并提供快速、准确的搜索结果。在现代网站和应用程序中，搜索功能是非常重要的，因为它可以帮助用户快速找到所需的信息。因此，优化Elasticsearch的搜索引擎性能和SEO(搜索引擎优化)是非常重要的。 在本文中，我们将讨论Elasticsearch的搜索引擎优化与SEO，包括背景介绍、核心概念与联系、核心算...
死磕elasticsearch（七）搜索速度优化
u012133048的博客
06-24 3659
文章目录1 为文件系统cache预留足够的内存2 使用更快的硬件3 文档模型4 预索引数据5 避免使用脚本6 优化日期搜索7 为只读索引执行force-merge8 预热文件系统cache9 调节搜索请求中的batched_reduce_size10 利用自适应副本选择（ARS）提升ES响应速 度 1 为文件系统cache预留足够的内存     在一般情况下，应用程序的读写都会被操作系统“cach...
关于elasticsearch的terms查询超过最大terms数
qq1261275789的博客
09-09 1601
根据资料，这是es对terms的数量限制。最高限制为65536。
ElasticSearch 并发操作问题
牧心人的专栏
03-19 3750
解决并发问题 https://www.elastic.co/guide/cn/elasticsearch/guide/current/concurrency-solutions.html 问题的原因是 Elasticsearch 不支持 ACID 事务。 对单个文件的变更是 ACIDic 的，但包含多个文档的变更不支持。 如果你的主要数据存储是关系数据库，并且 Elasticsearch 仅仅作...
Elasticsearch 写入和查询优化底层原理
zhangCheng的博客
06-12 823
一、Elasticsearch 写入原理 二、es 写入涉及到的概念 三、写入的特性 优化方案一: 优化方案二: 五、es优化1、写优化： 2、读优化
ElasticSearch进阶：多种查询操作，各种ES查询以及在Java中的实现
w3133089132的博客
08-13 2336
ElasticSearch基础：从倒排索引说起，快速认知ES这篇博文的主题是ES的查询，因此我整理了尽可能齐全的ES查询场景，形成下面的图：本文基于elasticsearch 7.13.2版本，es从7.0以后，发生了很大的更新。7.3以后，已经不推荐使用这个client，取而代之的是。
ES7.17版本terms查询性能问题
qq_33999844的博客
09-23 2385
ES迭代过程支持了越来越多特性与优化，版本升级显得十分必要。测试又很难覆盖所有场景，灰度升级过程中难免遇到一些问题，这里主要分析terms查询的一个性能损失问题。
elasticsearch 查询优化
02-09
### Elasticsearch 查询性能优化最佳实践 #### 选择合适的硬件配置 为了确保Elasticsearch集群的良好运行状态，选择适合的硬件至关重要。这不仅涉及CPU、内存的选择，还涉及到磁盘I/O能力的要求。对于存储层而言，SSD硬盘相较于传统HDD提供了更快的数据读取速度，有助于提高整体查询效率[^1]。 #### 合理规划索引结构 设计合理的映射（Mapping），可以有效减少不必要的字段存储，降低每条文档所占用的空间大小；同时利用前缀树(Trie)等高级特性构建更高效的倒排索引机制，从而加快匹配过程中的响应速率。另外，当存在多维度数据分析场景时，考虑采用嵌套对象或父子关系代替扁平化模型也能带来显著收益[^2]。 #### 数据分片策略调整 适当增加主分片数量可使写入操作更加均匀分布于各个节点之间，减轻单点压力的同时也提高了并发度；而对于只读型工作负载，则可以通过设置副本因子来增强可用性和容错率。值得注意的是，在决定具体数值之前应当充分评估当前系统的规模与预期增长趋势，避免过度分割造成资源浪费现象的发生[^3]。 #### 使用批量API进行高效数据导入 相比于逐条提交记录的方式来说，Bulk API允许一次性发送多个变更请求给服务器端处理，大大减少了网络往返次数所带来的延迟开销。此外，合理控制每次批处理的数量范围同样重要——过少会影响吞吐量上限而过多则可能导致OOM错误等问题出现。 #### 缓存机制的应用 开启Query Cache功能后，那些频繁重复执行却很少变动的结果集将会被临时保存起来供后续调用者直接获取，进而免除重新计算的成本消耗。另一方面，Field Data Cache用于缓存聚合运算所需的相关统计信息，能够在一定程度上缓解因复杂查询带来的巨大负担。 #### 高效编写DSL语句 尽可能简化Search Request Body内的逻辑表达式，去除冗余条件判断分支；善加运用Filter Context替代Term Query实现精准过滤效果；针对特定业务需求定制专属评分函数(Score Script)，而非依赖默认BM25算法盲目打分排序。最后一点就是要注意版本兼容性问题，及时跟进官方最新发布说明做出相应修改调整。 ```json GET /_search { "query": { "bool": { "must": [ {"term": {"status": "active"}}, {"range": {"created_at": {"gte": "now-7d/d"}}} ], "filter": [{"terms": {"tags": ["important", "urgent"]}}] } }, "_source": ["title", "content"], "size": 10, "sort": [ {"priority": {"order": "desc"}}, {"modified_date": {"order": "asc"}} ] } ```
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值